robots.txt

2熱

1答えて

現在、私のサイトには、検索結果に表示されないようにするPDFがいくつかあります。私は、このような、robots.txtを使用してメタタグを通じてにnoindexを追加、または.htaccessファイルを使用するなど、いくつかのオプションに見てきました。これらの方法を使用すると、検索結果に既にPDFが表示されるため、Googleのウェブマスターツールを使用して手動で削除する必要がありますか？時

1熱

2答えて

PHPでrobots.txtの連続した 'User-agent'指示文を検索

PHPでは、robots.txtファイルに「User-agent」指示が連続しているかどうかをチェックしたいと思います。この正規表現では、preg_match('~User-agent:\h*(?:\R|$)~i', $string)すべての 'User-agent：'行が見つかりましたが、連続する行を検出する方法が見つかりませんでした。例えば User-agent: # 'User-agen

0熱

1答えて

このサイトのrobots.txt - Wordpressサイトのため、この結果の説明はありません

私はsnowtoseas.comにブログを持っています。私のサイトをGoogleで検索すると、説明に表示されます。このサイトのrobots.txtのため、この結果の説明は利用できません。私はbiz.nfでホストしており、wordpress.orgをインストールしています。私は、wordpress.orgが通常編集できない仮想robots.txtファイルを作成することを知りました。この問題を回避す

0熱

1答えて

Robot.txtはブロックされていますが、何もブロックしていませんか？

私は自分のサイトで広告を取得しようとしています。それはしばらくの間見直されているので、私はボットがクロールするのを阻止しているかもしれない何かの掘削をやっています。今日はこれを見つけ出し、それが何かを意味するかどうか教えてください。最初に、Google検索コンソールで自分のサイトを取得してレンダリングしました。私は上の画像の右側にあるrobots.txtのリンクをクリックすると、この示した：そ

1熱

1答えて

サイトマップとそのディレクトリを読むにはどうすればいいですか？

は、私は、この特定のサイト http://www.dictionary.com ためのWebクローラを構築した後robots.txt User-agent: * Disallow: /site= Disallow: /5480.iac. Disallow: /go/ Disallow: /audio.html/ Disallow: /houseads/ Disallow: /askho

0熱

1答えて

角度2を使用すると、角度ルーティングがトリガーされずにrobots.txtを表示できるようにするにはどうすればよいですか？

私は角度2を使用して、ちょうど（SEOの目的のために）生産に対する私のdistフォルダのルートにrobots.txtのを追加しかしため、URL https://myrandomsite.com/robots.txtはちょうど私のPageNotFoundComponentにリダイレクトするため、ファイルにアクセスできませんよルーティングのセットアップ方法について robots.txtに「通常」アク

1熱

1答えて

Pythonを使用してWebページを削り取ることができません

前に同様のquestionを投稿しました。私は import requests url = 'https://www.zameen.com/' res = requests.get(url) data = res.text print(data) その応答は、私はBOTのどちらかだか、Javascriptが有効になっていないと言い、次のアプローチを使用してweb pageをこすりしよ

2熱

1答えて

Javaの正規表現で/robots.txtを解析する

robots.txtファイルを解析するための適切な正規表現を見つけようとしています。それでは、私がやっていることは、たとえば、この1のように見える文字列にページを取っている： User-agent: * Disallow: /a Disallow: /b/c Disallow: /d/c/h User-agent: agent1 Disallow: /a1/c1 Disallow:

3熱

2答えて

Wikileaksには珍しいrobots.txtがあります。私は何をクロールできますか？

私はWikileaks用のWebクローラーをどのように作成するかを理解するプロセスを進めています。私はhttps://wikileaks.org/robots.txtになったとき、ホームページや何かを定義するような、無害な見た目のHTMLがたくさんあるように見えます。何か間違っていますか？誰かが自分のロボットにこれを載せる理由はありますか？