XMLRPCをフィルタリングする

WordPressのXMLRPCって便利なのですけどpingbackスパムやログイン攻撃の的になるんですよね。
スカイプでそんな事を話していたら、同じくWordPressを持ってる人に「まじ?どうすればいいの?」と言われたので、うちのブログで使っているヤツのコードを組み直して渡しました。

コードはこれ

<?php
 
class kerberos_xmlrpc_filter {
    private $config = [
        'disable-rpc' => false,
        'remove-pingback-header' => false,
        'filter' => [
            'enable' => true,
            'process' => 1, // 0 = remove method and continue WP, 1 = HTTP 403, 2 = exit
            'message' => [ // process = 1 or 2
                'enable' => true,
                'status' => 200,
                'content-mime' => 'text/plain',
                'message' => 'You don\'t have permission to access on this server.'
            ],
            'methods' => [
                // WordPress API
                'demo.sayHello'            => ['enable' => true,    'process' => 0],
                'system.multicall'        => ['enable' => false,    'process' => 0],
                'wp.getUsersBlogs'        => ['enable' => false,    'process' => 0],
                'wp.newPost'            => ['enable' => false,    'process' => 0],
                'wp.editPost'            => ['enable' => false,    'process' => 0],
                'wp.deletePost'            => ['enable' => false,    'process' => 0],
                'wp.getPost'            => ['enable' => true,    'process' => 0],
                'wp.getPosts'            => ['enable' => true,    'process' => 0],
                'wp.newTerm'            => ['enable' => false,    'process' => 0],
                'wp.editTerm'            => ['enable' => false,    'process' => 0],
                'wp.deleteTerm'            => ['enable' => false,    'process' => 0],
                'wp.getTerm'            => ['enable' => true,    'process' => 0],
                'wp.getTerms'            => ['enable' => true,    'process' => 0],
                'wp.getTaxonomy'        => ['enable' => true,    'process' => 0],
                'wp.getTaxonomies'        => ['enable' => true,    'process' => 0],
                'wp.getUser'            => ['enable' => false,    'process' => 0],
                'wp.getUsers'            => ['enable' => false,    'process' => 0],
                'wp.getProfile'            => ['enable' => false,    'process' => 0],
                'wp.editProfile'        => ['enable' => false,    'process' => 0],
                'wp.getPage'            => ['enable' => true,    'process' => 0],
                'wp.getPages'            => ['enable' => true,    'process' => 0],
                'wp.newPage'            => ['enable' => false,    'process' => 0],
                'wp.deletePage'            => ['enable' => false,    'process' => 0],
                'wp.editPage'            => ['enable' => false,    'process' => 0],
                'wp.getPageList'        => ['enable' => true,    'process' => 0],
                'wp.getAuthors'            => ['enable' => true,    'process' => 0],
                'wp.getCategories'        => ['enable' => true,    'process' => 0],    // Alias
                'wp.getTags'            => ['enable' => true,    'process' => 0],
                'wp.newCategory'        => ['enable' => false,    'process' => 0],
                'wp.deleteCategory'        => ['enable' => false,    'process' => 0],
                'wp.suggestCategories'        => ['enable' => true,    'process' => 0],
                'wp.uploadFile'            => ['enable' => false,    'process' => 0],    // Alias
                'wp.deleteFile'            => ['enable' => false,    'process' => 0],    // Alias
                'wp.getCommentCount'        => ['enable' => true,    'process' => 0],
                'wp.getPostStatusList'        => ['enable' => false,    'process' => 0],
                'wp.getPageStatusList'        => ['enable' => false,    'process' => 0],
                'wp.getPageTemplates'        => ['enable' => false,    'process' => 0],
                'wp.getOptions'            => ['enable' => false,    'process' => 0],
                'wp.setOptions'            => ['enable' => false,    'process' => 0],
                'wp.getComment'            => ['enable' => true,    'process' => 0],
                'wp.getComments'        => ['enable' => true,    'process' => 0],
                'wp.deleteComment'        => ['enable' => false,    'process' => 0],
                'wp.editComment'        => ['enable' => false,    'process' => 0],
                'wp.newComment'            => ['enable' => false,    'process' => 0],
                'wp.getCommentStatusList'     => ['enable' => false,    'process' => 0],
                'wp.getMediaItem'        => ['enable' => false,    'process' => 0],
                'wp.getMediaLibrary'        => ['enable' => false,    'process' => 0],
                'wp.getPostFormats'         => ['enable' => false,    'process' => 0],
                'wp.getPostType'        => ['enable' => false,    'process' => 0],
                'wp.getPostTypes'        => ['enable' => false,    'process' => 0],
                'wp.getRevisions'        => ['enable' => false,    'process' => 0],
                'wp.restoreRevision'        => ['enable' => false,    'process' => 0],
 
                // Blogger API
                'blogger.getUsersBlogs'     => ['enable' => true,    'process' => 0],
                'blogger.getUserInfo'         => ['enable' => true,    'process' => 0],
                'blogger.getPost'         => ['enable' => true,    'process' => 0],
                'blogger.getRecentPosts'     => ['enable' => true,    'process' => 0],
                'blogger.newPost'         => ['enable' => true,    'process' => 0],
                'blogger.editPost'         => ['enable' => true,    'process' => 0],
                'blogger.deletePost'         => ['enable' => true,    'process' => 0],
 
                // MetaWeblog API (with MT extensions to structs]
                'metaWeblog.newPost'         => ['enable' => true,    'process' => 0],
                'metaWeblog.editPost'         => ['enable' => true,    'process' => 0],
                'metaWeblog.getPost'         => ['enable' => true,    'process' => 0],
                'metaWeblog.getRecentPosts'     => ['enable' => true,    'process' => 0],
                'metaWeblog.getCategories'     => ['enable' => true,    'process' => 0],
                'metaWeblog.newMediaObject'     => ['enable' => true,    'process' => 0],
 
                // MetaWeblog API aliases for Blogger API
                // see http://www.xmlrpc.com/stories/storyReader$2460
                'metaWeblog.deletePost'     => ['enable' => true,    'process' => 0],
                'metaWeblog.getUsersBlogs'     => ['enable' => true,    'process' => 0],
 
                // MovableType API
                'mt.getCategoryList'         => ['enable' => true,    'process' => 0],
                'mt.getRecentPostTitles'     => ['enable' => true,    'process' => 0],
                'mt.getPostCategories'         => ['enable' => true,    'process' => 0],
                'mt.setPostCategories'         => ['enable' => true,    'process' => 0],
                'mt.supportedMethods'         => ['enable' => true,    'process' => 0],
                'mt.supportedTextFilters'     => ['enable' => true,    'process' => 0],
                'mt.getTrackbackPings'         => ['enable' => true,    'process' => 0],
                'mt.publishPost'         => ['enable' => true,    'process' => 0],
 
                // PingBack
                'pingback.ping'             => ['enable' => true,    'process' => 0],
                'pingback.extensions.getPingbacks'     => ['enable' => false,    'process' => 0]
            ]
        ]
    ];
 
    public function __construct() {
        if ($this->config['disable-rpc'] === true) {
            add_filter('option_enable_xmlrpc', false);
        } else {
            if ($this->config['remove-pingback-header'] === true) {
                add_filter('wp_headers', [$this, 'wp_headers']);
            }
            if ($this->config['filter']['enable'] === true) {
                add_filter('xmlrpc_methods', [$this, 'xmlrpc_methods'], 3);
            }
        }
    }
 
    public function wp_headers($headers) {
        unset($headers['X-Pingback']);
 
        return $headers;
    }
 
    public function xmlrpc_methods($methods) {
        if ($_SERVER['REMOTE_ADDR'] === '127.0.0.1') {
            return $methods;
        }
 
        if ($_SERVER['REQUEST_METHOD'] === 'POST') {
            if (isset($_SERVER['POST']) === false) {
                return [];
            }
 
            foreach ($this->config['filter']['methods'] as $method_name => $method_option) {
                $postData = $postData = $_SERVER['POST'];
 
                if (strpos($postData, $method_name) !== false) {
                    if ($method_option['enable'] === false) {
                        switch ($this->config['filter']['process']) {
                            case 0:
                                unset($methods[$method_name]);
                                break 2;
                            case 1:
                                http_response_code(403);
                                if ($this->config['filter']['message']['enable'] === true) {
                                    header('Content-type: '.$this->config['filter']['message']['content-mime']);
                                    echo $this->config['filter']['message']['message'];
                                }
                                exit;
                                break 2;
                            case 2:
                                http_response_code($this->config['filter']['message']['status']);
                                if ($this->config['filter']['message']['enable'] === true) {
                                    header('Content-type: '.$this->config['filter']['message']['content-mime']);
                                    echo $this->config['filter']['message']['message'];
                                }
                                exit;
                                break 2;
                        }
                        break 1;
                    }
                }
            }
        }
 
        return $methods;
    }
}
 
new kerberos_xmlrpc_filter();
 
?>

コードは凄く簡単。
前処理はイロイロあるけど、add_filterでxmlrpc_methodsにフィルターをかける。
XMLRPCにPOSTが飛んでくると$methodsにWordPressで有効になっているメソッド一覧が入っているので、許可しない場合は$methodsから対象のメソッドを削除すればOK。
削除するだけなら処理はWordPressに引き継がれ有効なメソッドではないとのメッセージが表示される仕組み。

このコードは設定でメソッド毎に許可/却下をするだけなので、改造すればイロイロできます。
うちの場合は、公開ブラックリストの照会やデータベースへの記録・過去のデータベースからスパムかどうかの判定などをしています。

設定のdisable-rpcはXMLRPC自体を無効化してしまうので、pingback等を受け取れなくなるので注意です。

Bingが存在しないサブドメインにアクセスしてくる時の対処方法

少し前の記事でBingはリダイレクトを認識しないと記載しましたが、最近また存在しないサブドメインへのクローリングが多くなったのでBing Webmaster Tool Supportへ連絡しました。

すると以下の回答をいただきました。

Thank you for contacting Bing Webmaster Support.

We have investigated the issue and we want to inform you that we see 2 redirects that ends to a blog, Please apply a 404 on those sites, once applied please use our content removal tool to remove those pages.
Once those are done the sites would be removed out of index.
Content removal: https://www.bing.com/webmaster/help/bing-content-removal-tool-cb6c294d

We want to inform you one more thing that putting more redirects to the main page is not a best practise, instead you can use our tools to move your site to another location.
Site move: https://www.bing.com/webmaster/help/how-to-use-the-site-move-tool-bb8f5112

メール引用: BING TECHNICAL SUPPORT ENGINEER

どうやらBingでは正しいサイトに誘導する為にはBing Webmaster Toolでサイトの移動を設定し、ステータスコード404を発行しないといけないようです。

しかし、今回の場合は使用したことのないサブドメイン「www.wolfs.jp」へ勝手にクローリングしています。
URIは合っているのでサイト移動ツールで誘導しようとすると、www.wolfs.jpに対する権限が無いと出てきます。
コンテンツの削除もドメインが違うので使用できませんでした。

どうやらwww.wolfs.jpもWebmaster Toolへ登録する必要があるようですが、www.wolfs.jpは存在しないサブドメインであり使用もしていないので登録は無意味だしサイト認証をするのも面倒。
なのでサポートへ再度連絡。

2回目のサポートからの回答は1回目と同じで「404ステータスコードを設定するかサイトの移動を設定してくれ」との事。
「勝手にクローリングしている事」、「サイト移動ツールを使用できない事」、「www.wolfs.jpの登録に関する事」に対する回答は一切ありませんでした。

と言うことで、Bingはロボットも適当ですがサポートもすごく適当。
ただ、指示されたドキュメントを読んで301リダイレクトの挙動に関してはちょっと同意できるかなーって思いました。
まあそれを上回るほどBOTとサポートがダメでしたって感じです。

Yandex WebmasterでMissing page contentになる場合の対処

なぜかYandexのボットが謎のURLにアクセスしてくるからクロール制御をしたいと思ってYandex Webmasterへ登録しました。
ところが、Yandexからページのデータがダウンロードできない状態に・・・
Yandex - Missing page content
メッセージは「Missing page content」と表示されておりレスポンスボディがないって事らしい。

サーバーログでは送信バイトもでているからコンテンツデータの転送をしている事になってるけれど、Yandexの受信は0バイト。
gzipの展開に失敗しているか?と思ってYandexだけgzipを切ってもダメ。
CSPなどのセキュリティヘッダーがダメなのか?と考えて、Yandexにだけ出力しないようにしてもダメ。
Google先生にきいても全然情報がなくてダメ、Yandexで検索してもダメ。

じゃあなんなの?
まさかドメインがダメなのか?と思って、Freedomから無料ドメインをゲットしてきて割り当てたらすんなりとダウンロードしてくれました。
これにはビックリしましたが気を取り直して、wolfs.jpドメインと無料ドメインの違いを挙げてみました。
 ・DNSサーバーが違う
 ・TLDがjpとml
 ・ドメイン名が普通のドメインとPunycode
 ・SSLありとなし
違いはこんな所。

とりあえず、簡単に検証できるSSLありとなしを試してみたところ、SSLなしのページではちゃんとダウンロードできました。
まさかの一発ヒット!

Yandexの検索ではSSLページはダメなのか?と思ったけど、GETリクエスト自体はできてきるのでSSL通信自体は問題ないよう。
ならHTTP2かな?ってことで試しにHTTP2からHTTP1.1にしてみたところ、SSLでもページをダウンロードしてくれた。
と言うことで、YandexはHTTP2に対応していないようです。

YandexだけHTTP2を使わないようにするにはApacheの設定へこれを追加すればOK。

BrowserMatch "^Mozilla\/5\.0 \(compatible; Yandex" no_http2
Header unset Upgrade env=no_http2

BrowserMatchはYandexだけで良いかもだけどYandexだけだと何か違う物も無効化してしまいそうだったので、Mozilla~Yandexまでを判定材料にしました。
Missing page contentで困ってるWebマスターさんはYandexのみHTTP2の無効化を試してみてくださいー