robots.txt

2熱

6答えて

Googleは私のウェブサイトで私のテストフォルダのインデックスを作成しました:(ウェブクローラを制限するにはどうすればいいですか）

ヘルプヘルプGoogleは私のウェブサイト上のテストフォルダをインデックスに登録しました。。。インデックスリンクや特定のフォルダから

3熱

1答えて

Robots.txtがすべてのhttps：//ページへのブロックアクセス

https：//ページへのすべてのボットへのすべてのアクセスをブロックする構文は何ですか？私は今SSLを持っていない古いサイトを持っていて、すべてのhttps：//ページへのアクセスをブロックしたいです

7熱

2答えて

すべての動的URLのrobots.txt内のすべての動的URLを禁止する方法のrobots.txt

を禁止するためにどのように私は/？Q =

5熱

3答えて

Ploneでrobots.txtを変更するにはどうすればよいですか？

私が管理しているPloneサイトがあります。私はrobots.txtのDisallowにいくつかのページを追加したいと思います。 Ploneは自動的にrobots.txtファイルを生成するようです。私はそれを変更する方法を見つけることができません。私はまた、アプリケーションのルートに 'robots.txt'ファイルを追加しようとしましたが、 "robots.txtは予約されています"と言われてい

18熱

5答えて

サイトのデフォルトページのみを許可するrobot.txtの設定方法

http://example.comにサイトがあるとします。私は本当にボットにホームページを見せてもらいたいですが、他のページはスパイダーにとって無意味なのでブロックする必要があります。言い換えれば http://example.com & http://example.com/は許されるべきであるが、 http://example.com/anythingとhttp://example.com/

3熱

1答えて

のrobots.txt：私はこのような構造とのリンクを持っている与えられた "URLの深さ" にアクセスする

をボットを禁止： http://www.example.com/tags/何とか http://www.example.com/tags/blubb http://www.example.com/tags/何とか/blubb（両方のタグに一致するすべてのアイテム） google &は、URL内にONEタグを持つすべてのリンクをスパイダーしたいが、2つ以上のタグを持つURLではない。現在、私は問題

18熱

6答えて

robots.txtとsitemap.xmlのURLにリダイレクトするようにnginxを設定するには

couchdbのプロキシフロントエンドとしてnginx 0.6.32を実行しています。私はデータベースにrobots.txtを持っていて、http://www.example.com/prod/_design/mydesign/robots.txtという名前でアクセス可能です。同様のURLに動的に生成されたsitemap.xmlもあります。私は、次の設定を試してみました： server {

5熱

3答えて

ウェブボットを書くのに最高のプログラミング言語はどれですか？

私はどのプログラミング言語がウェブボットをプログラムするのに良い数のライブラリを提供しているか知りたいですか？ウェブページのデータをクロールするようなものです。 weather.yahoo.comウェブサイトの天気を取得したいとします。また、AIデスクトップボットの回答も同じですか？

3熱

2答えて

（特定の）クエリ文字列（パラメータ）値のロボットアクセスを制限しますか？

robot.txtを使用すると、（特定の）クエリ文字列（パラメータ）値に対するロボットアクセスを制限できますか？ http://www.url.com/default.aspx #allow http://www.url.com/default.aspx?id=6 #allow http://www.url.com/default.aspx?id=7 #disallow