1
私のルートフォルダにrobots.txtファイルはありませんが、example.com/robots.txtからアクセスできます。WordPressでのロボット作成の一時停止
User-agent: *
Disallow:
Googleでいくつかの調査をしたところ、自分のサイトがWordPressにあるので、その場で生成されることがわかりました。誰かがrobot.txtをWordPressのフライ作成で止めるのを助けることができますか?
WPが自動的にrobots.txtを生成するかどうかはわかりません。あなたにはその源がありますか?私はそれがないという印象の下にあった。 (これは許可されている場合は '.htaccess'ファイルを生成します)これを行うプラグインがインストールされていますか? –
'robot.txt'は' robots.txt'と同じではないことに注意してください。後者のみがクローラに影響します。 – Piskvor
また、私は、robots.txtリクエストをフック/フィルタリングできると思うので、選択したテーマのコードをチェックする価値があります。 –