WordPressでのロボット作成の一時停止

私のルートフォルダにrobots.txtファイルはありませんが、example.com/robots.txtからアクセスできます。WordPressでのロボット作成の一時停止

 User-agent: * 
     Disallow:

Googleでいくつかの調査をしたところ、自分のサイトがWordPressにあるので、その場で生成されることがわかりました。誰かがrobot.txtをWordPressのフライ作成で止めるのを助けることができますか？

2012-01-19 viveka

WPが自動的にrobots.txtを生成するかどうかはわかりません。あなたにはその源がありますか？私はそれがないという印象の下にあった。（これは許可されている場合は '.htaccess'ファイルを生成します）これを行うプラグインがインストールされていますか？ –

'robot.txt'は' robots.txt'と同じではないことに注意してください。後者のみがクローラに影響します。 – Piskvor

また、私は、robots.txtリクエストをフック/フィルタリングできると思うので、選択したテーマのコードをチェックする価値があります。 –

これは、WP-含ま/のfunctions.phpに発生した（3.3.1）でライン1845、あなたが結果フィルタリングすることができている：あなたはそれが何かを含めるしたくない場合は、だから、

echo apply_filters('robots_txt', $output, $public);

をフィルタを追加して空の文字列を返すことができます。 WordPressはブログ/サイトのプライバシー設定に応答してこれを使用します（$ publicは検索エンジンをブロックする設定であれば '0'に設定されます）。お役に立てれば！

2012-01-21 22:36:29

答えて