robots.txt

1熱

1答えて

Googleの「サイトマップにrobots.txtによってブロックされたURLが含まれています」警告

問題は、ホワイトリストrobots.txtがDisallow: /であることが、Googleで期待どおりに機能しないことです。 Googleはrobots.txtのルールを制限するとの問題があります。 User-agent: * Host: sitename Allow: /$ Allow: /sitemap.xml Allow: /static/ Allow: /articles/

0熱

1答えて

Laravelでgoogleインデックスのリソースルートを停止する

コントローラを使用してユーザーをリンクにリダイレクトするリンクキュレーションのWebサイトを開始しました。これは、データベースからリンク列のIDを取得し、そのURLにユーザをリダイレクト Route::get('/redirect/{id}', '[email protected]'); ： Iは設定ルートを持っています。問題は、Googleがこれらのルートすべてにインデックスを作成している

0熱

1答えて

robot.txtの代わりにDisallow

私のアプリには動的URLがほとんどないので、Disallowではなくrobots.txtに許可がありますか？ Like User-agent: * allow:/ allow: /blog または私はこのような何かをしなければなりませんか？ User-agent: * Disallow: /users/*

1熱

1答えて

robots.txtを配置してクロールを防止する場所

私はrobots.txtファイルを使用して、クローラが特定のページをクロールしないようにしています。私は/folder/myfolder/にmyfolderのすべてをクロールないようにしたいとき、私は/folder/myfolder/robots.txtでrobots.txtを入れて書くことができます。 User-agent: * Disallow:/ または私は/robots.txtでrob

0熱

2答えて

クローラやハッカー向けにサーバー上のコンテンツを非表示にする方法

私のオンラインショップで電子書籍を販売しています。 http://www.my_domain.com/media/books/b476de3dd02e72a727bb762371d6bbad.pdf すべてのファイルが名前を推測することができ、ユーザを防ぐためにb476de3dd02e72a727bb762371d6bbadのような不可解な名前を持っている、としませmy_book_name.p

0熱

1答えて

RobotParserがSSL証明書の検証に失敗しました

私はPython 2.7でシンプルなWebクローラーを作成していますが、HTTPS Webサイトからrobots.txtファイルを取得しようとすると、SSL証明書検証失敗例外が発生します。がここに関連するコードです： def getHTMLpage(pagelink, currenttime): "Downloads HTML page from server" #init

1熱

1答えて

「Disallow：/ *？」を使用するrobots.txtファイル

に私が「？」が含まれている可能性があるすべてのページを許可しないようにrobots.txtファイルに Disallow: /*? を使用しましたURLにこの構文は正しいですか、他のページもブロックしていますか？

1熱

2答えて

Laravelのrobots.txt

robots.txtファイルが一般的なロボットのtxtファイルのように動作するはずです。たとえば、「disallow/admin/*」と入力すると、ルートLaravelフォルダに置かれます。それはそれです。このような感じですか？

-1熱

1答えて

検索エンジンによるすべての投稿へのインデックス付けの防止

私は、芸能人のツアー日のリストを作成するために投稿を使用しているWordpressサイトで作業しています。 ACFを使用すると、テーブルにフィールドが設定され、クライアントは日付、場所、チケットを購入するリンクなどを入力するだけです。テーブルは私が見る必要があります。 single.phpによって作成された実際の投稿はスタイル付けされず、決して見られません。私は、アーティストと都市を検索して投