robots.txtを修正するには

Question

完全な免責事項、私はプログラマーではありません、私は私が持っているすべての小さな質問のために私の開発者に頼らない方法を学ぼうとしているSEOです。

現在、私の問題はこれです。 Screaming Frogを使用してサイトをクロールしてページタイトル、メタ記述、h1、h2などをレイアウトして、変更をより簡単に計画することができます。

先日、私は自分のクライアントと自分の会社のウェブサイトのレポートを実行して、次のような結果を得ました。

だから私は、robots.txtのは、サイトのページを作るための方法です知っているが、Googleはそれらをクロールしていません。私が知らないのは、一部のページとは対照的に、サイト全体でこのメッセージが表示される理由です。

これを修正する方法やリンク先へのアドバイスは誰でもいただけますか？私はこの問題をたくさん受け取り、自分自身を教育したいので、他の誰かを待つ必要はありません。 Google Search Consoleでウェブサイトのインデックスを作成しようとすると、これらも表示されます。 だけでいくつかのページに並置として、サイト全体がこのメッセージを持っているでしょう、なぜ私にはわからない何

多くのおかげ

Answer 1

です。

1. 意図はインデックスにその内容であれば、あなたのウェブサイトのためのrobots.txtが正しく書き込まれていません。

2. また、Screaming Frogにはaがあるかもしれませんが、確かにrobots.txtファイルが適切に書き込まれているとします。

3. ウェブマスターは、コンテンツがGoogleでインデックスに登録されていないと判断した場合、またはボットがあまりにも多くの帯域幅を消費すると判断した場合（アクセスを制限する選択肢ではないため）。そのウェブサイト上の現在のrobots.txtファイルを確認する

Answer 2

は、私がこのコンテンツを参照してください。

そのウェブサイトのどのページがここに任意のクローラ（説明によってクロールが許可されること

User-Agent: * 
Disallow: 

そのファイルの構文の：https://moz.com/learn/seo/robotstxt）

したがって、現在のファイルは、そのエラーを引き起こすべきではありませんOPが言及します。この質問は2011年6月30日のもので、robots.txtファイルは最終的に2011年7月11日に修正されました。この質問はOPが既に問題を修正している可能性があるため開かれたようです。