robots.txt

4熱

2答えて

は： Disallow /folder/ Allow /folder/filename.php をfilename.phpは、その後許されるのでしょうか？ Googleはどのような注文を優先しますか？例えば、ここでどうなりますか？：私は主に検索エンジンとして、ここでGoogleに言及してい Allow/ Disallow/ 。 Googleは最も具体的なルールの優先順位を決定しますと、あな

2熱

2答えて

ボットの台無しの投票を防ぐためにGETをPOSTに変換する

投票でPHPベースの引用データベースを提供するqdbs 1.10を使用するサイトを実行しています。投票はGETによって実行され、ボットには偶然にも引用符で投票されます。これを避けるために、GET要求をPOSTに変換したいと思います。私はPHPの完全な初心者であり、一般的なWeb開発です。最小の知識でこのチャンスを実行することは可能ですか？何かパターンがありますか、それを行う方法についていくつかの

3熱

4答えて

ユーザエージェントの文字列は、サーバのログに表示される文字列とまったく同じである必要がありますか？

Robots.txtファイルを使用する場合、ユーザーエージェントの文字列はサーバーのログに表示されるとおりにする必要がありますか？たとえば、GoogleBotと一致させる場合は、googlebotを使用できますか？また、部分一致は動作しますか？たとえば、ちょうどGoogleを使用していますか？

0熱

2答えて

Robots.txt用法

Googleは、私が使用しているリンクトラッカーの重複コンテンツに対して何千ものエラーを投げただけです。 Google &他の検索エンジンはリンクトラッカーのページにアクセスしません。私はこれらのページは、これらのロボットを許可しない、私のページは以下のとおりです。 http://www.site.com/page1.html http://www.site.com/page2.html

1熱

1答えて

同じルートフォルダにリンクされている異なるドメイン名のrobots.txtの内容が異なります

私は同じルートにリンクする2つのドメイン名を持っています。ドメイン名によってrobots.txtの内容が異なるようにするにはどうすればよいですか？

2熱

3答えて

robots.txtを使用して/？param = Xをブロックする

私はwordpressを使用してウェブサイトを作成しました。 www.url.com/?cat=1 今すぐこれらのページは存在せず、削除依頼Googleはrobots.txtの上でそれらをブロックするように私に尋ねる作るために：グーグルは、以下のようなページをインデックス化私が使用する必要があります。 User-Agent: * Disallow: /?cat= または User-Age

2熱

3答えて

のrobots.txt：ユーザーエージェント：Googlebotが不許可：</p> <p><a href="http://fr2.dk/robots.txt" rel="nofollow">fr2.dk/robots.txt</a></p> <p>内容は次のとおりです：Googleはまだこのサイトのrobots.txtので

ルックをインデックス/ User-Agent: Googlebot Disallow:/ べきGoogleにサイトのインデックスを作成しないよう伝えるために、いいえ？ trueの場合、サイトがGoogle検索に表示されるのはなぜですか？

3熱

2答えて

robots.txtを追加して非表示にする正しい方法ですか？

私は自分のホストに秘密のフォルダを持っていますが、これは訪問者には見えないかもしれません。私はhtdocsへrobots.txtを追加しました： User-agent: * Disallow: /super-private/ をしかし、訪問者はhttp://example.com/robots.txtに行くならば、彼はプライベートフォルダの名前を見ることができます。何かすべきことはありますか

3熱

2答えて

.htaccessからrobots.txtに直接アクセスできないようにする

ユーザーがrobots.txtファイルにアクセスできないようにしたいが、検索エンジンに読み込ませたい。出来ますか？はいの場合はどうすればよいですか？ .htaccessで次のように書くとうまくいくと思いますが、検索エンジンがアクセスするのを妨げるのではないかと心配しています。順序は、あなたが何らかの形で確実に私はしていないユーザーからの検索エンジンを区別することができない限り、標準robots

1熱

1答えて

GooglebotはRailsアプリのリンクをサブドメインに置き換えます

私はドメイン名がabc.comのこのRailsアプリを持っています。このサブドメインstats.abc.comには、Piwikの統計情報用に別のサブドメインもあります。 Googlebotは何らかの理由で自分のサブドメインとリンクの一部をリストしていました。 statsと http://abc.com/login http://stats.abc.com/login http://abc.co