robots.txt

1熱

1答えて

私はクライアントクライアントがすべての小さな事についてニッキーピックで、彼は喜んで返す私の男の地獄を与えている、コマンドの連鎖を押さえるという古い規則に従うことで賛成してください。今質問します。このアプリケーションは基本的に3つの異なるミニプロジェクトで構成されています。管理者用のバックエンドインターフェース、クライアント用のバックエンドインターフェース、全員用のフロントエンド。私は具体的にS

0熱

1答えて

robots.txt - モバイルサイトのクロールを防止し、メタタグに何を書き込むのですか？

私はモバイルサイトを作成したいと私はそれのクロールを防止します。私はヤフー、グーグルなどのすべてを許可しません。そして、私はメタタグに何を書き込む必要がありますか？このコードは十分ですか、それともありますか？ <meta name="apple-mobile-web-app-capable" content="no">

1熱

2答えて

WayBack Machineが自分のサイトのアーカイブを停止しました。私のrobots.txtに問題がありますか？

http://wayback.archive.org/web/ */linksku.com 私のサイトが最後にアーカイブされたのは、昨年の7月でした。数週間前、私は自分のrobots.txtファイルにエラーがあり、それを修正したことに気付きました。しかし、私のサイトはまだクロールされていません。どうしましたか？私のrobots.txtファイルはここにある：http://linksku.com/r

0熱

1答えて

VirtualHostとそのすべてのサブディレクトリ上のすべてのロボットを停止する

私はApacheサーバ上の仮想ホストの下に開発環境を持っています。私はこの仮想ホストをブロックしたいと思います。そのすべてのサブディレクトリは、検索エンジンのインデックスに登録されています。私はこのコードを持っていますが（私はここで別の質問から引っ張ってきました）、彼の質問はサーバー全体のものでしたが、いつかこれが動作することを確かめたいと思います。あなたの<Location>とAliasディ

1熱

1答えて

のrobots.txtやメタタグのロボット私はこの理解を確認する

：この：Webページの<head>に<meta content="noindex, nofollow" name="robots" />は同じです：Robots.txtで Disallow: /example-page.html 右？

3熱

2答えて

Python robotparserモジュールは 'robots.txt'をロードしません

私は非常に単純なWebクローラーを作成し、'robots.txt'ファイルを解析しようとしています。私はrobotparserモジュールを標準ライブラリに見つけました。これはまさにこれを行うはずです。私はPython 2.7.2を使用しています。残念ながら、私のコードは'robots.txt'ファイルを正しく読み込まないため、なぜその理由が分かりません。ここでは、私のコードの関連するスニペットで

0熱

1答えて

robots.txtでは、共有ホスティングのサブドメインNOTサブディレクトリのみのクロールを許可しますか？

私はDNS設定を変更したので、フォルダ/forumはサブディレクトリではなくサブドメインになりました。私は、robots.txtファイルを実行すると言う場合は、次のサブディレクトリとサブドメインのクロール禁止し User-agent: * Disallow: /forum ウィルは？サブディレクトリのクロールを許可しませんが、サブドメインのクロールを許可します。注：これは共有ホスティング

0熱

1答えて

mod_rewriteで要求されたファイル名に基づいてフォルダの場所を変更する方法は？

は、URLが http://domain1.com/robots.txt ようにrobots.txtを要求していると私は、このURLはhttp://domain1.com/domain1/robots.txtに見えるがこれに正しい方法でどのように任意のアイデアを上記のURLを維持したいと言うことができますか？ robots.txtのようなリダイレクトは許可されていますか？よろしく

1熱

1答えて

robots.txtが特定のURLパラメータへのアクセスを拒否する

私はさまざまなGoogleフォーラムでこの質問の回答を得ようとしていますが、誰も回答していないので、ここで試してみます。私は domain.com/index.php?showimage=166 domain.com/index.php?x=googlemap&showimage=139 どのように私は、これらのパラメータのために、これらのページへのアクセスをブロックすることができますように異な

0熱

1答えて

tomcat urlsとrobots.txt

TomcatでWebサービス/アプリケーションを使用している場合、 "robots.txt"のような検索エンジンを使用してTomcatを動かすことを心配する必要がありますか？私はちょうどGoogleと他の人がTomcatで何かをインデックスに登録しないようにしたいと思っています...私は現在作業中の小さなプロジェクトです、サーバは静的IPとドメイン名でアクセスでき、現在はTomcat用の認証があり