Robot.txtはブロックされていますが、何もブロックしていませんか？

Question

私は自分のサイトで広告を取得しようとしています。それはしばらくの間見直されているので、私はボットがクロールするのを阻止しているかもしれない何かの掘削をやっています。今日はこれを見つけ出し、それが何かを意味するかどうか教えてください。

最初に、Google検索コンソールで自分のサイトを取得してレンダリングしました。

私は上の画像の右側にあるrobots.txtのリンクをクリックすると、この示した：それでは

を：私はすべてのGoogleボットとしてロボットのクロールを行なったし、私のロボットファイルに許可されました。 ライブファイル：

私のウェブサイトのファイルマネージャーには、上記の画像は実際のrobots.txtファイルです。私のロボットファイルが検証の第2段階をブロックするため、私の広告は確認できませんか？

Answer 1

robots.txtでホストのURLのみをブロックできます。

Google Search Consoleからのメッセージは、外部URLに関するメッセージです。その外部ホストのrobots.txtは、問題のURLのクロールをブロックします。

あなたはそれについて何もできません（外部のスクリプトをあなた自身でホストすることを除いて、しかし、それはもちろんすべての場合で可能ではありません）。