一般公開のWebサイトにはrobots.txtファイルが絶対に必要ですか？

Question

私のSEOベースがカバーされていることを確認するために、いくつかの私のウェブサイトを見ています。問題のサイトにプライベートページはなく、すべてのページのインデックスを作成します。とにかくrobots.txtファイルを含めても、それが必要ない場合でも、私のサイトはGoogleにとってより評判が良く、重要に見えますか？

Answer 1

それがなければ、あなたのサーバーは依然として依頼者に404メッセージを吐き出しているので、空白を含めてもかまいません。おそらく空のrobots.txtファイルよりも大きいでしょう。

Answer 2

いいえ、それはできません。

googleには独自のルールがあり、robots.txtの存在に依存することはありません。

Answer 3

Googleだけがそれに答えることができます。

wikipediaによると、robots.txtはブラックリスト、レート制限、およびサイトマップのみに使用されます。

Answer 4

Googleによると、それは良い考えです。彼らの指示/ガイドラインは、実際にはかなり徹底的です。

Answer 5

検索エンジンはrobots.txtファイルを探します。それがなければ、検索エンジンは404を得るでしょう。それが空白であってもそれを持つことは良い考えです。

Answer 6

この質問は回答されましたが、答えは少し古く、この質問は引き続き検索結果に現れ、状況は変わりました。

Google now recommendは以下：

あなたのサイトのインデックスすべてに検索エンジンたい場合は、 は、robots.txtファイル（ない空であっても）必要はありません。

（グーグルの）JohnMu、またfollowing suggestionを行います

私も少し先に進むと、おそらく完全に robots.txtファイルを削除することをお勧めします。