なぜGoogle robots.txt Testerにエラーがあり、有効でないのですか

Question

Google Webマスターツール robots.txtテスターに​​は約9のエラーが表示されますが、どのように修正するのかわかりません。問題？

Answer 1

を把握するために私を助けてください有効なのrobots.txtであること - しかし、あなたは、テキストファイルの先頭にUTF-8 BOM (\xef\xbb\xbf)を持っています。そのため、最初の行に「ユーザー」の横に赤い点が表示されます。このマークは、ブラウザとテキストエディタにファイルをUTF-8として解釈させ、robots.txtはASCII文字のみを使用することを想定しています。

テキストファイルをASCIIに変換すると、エラーは消えてしまいます。または、赤い点の後にすべてをコピーして、再度貼り付けてみてください。

私はライブバージョンでこれをテストしたが、ここでバイト形式から変換結果です：

\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow: 
/en/tours-services/tour-the-soul-of-iran\r\nDisallow: 
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to 

あなたが先頭にBOMをはっきりと見ることができます。ブラウザやテキストエディタでは無視されますが、robots.txtを解析するクローラ機能が混乱する可能性があります。あなたはこのPythonスクリプトを使用してライブバージョンをテストすることができます。

import urllib.request 

text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt') 

print(repr(text.read())) 

あなたがNotepad++をインストールすることができるしている場合、それは実際にあなたがいずれかの形式で保存することができますエンコーディングメニューを持っています。

Answer 2

あなたはそれがうまく動作それ

をダウンロードするウェブマスターパネルツール https://www.google.com/webmasters/tools/robots-testing-tool を使用して、ロボットがそのファイルをテストすることができます。