robots.txt

2熱

1答えて

学校のドメインのサブディレクトリに `robots.txt`ファイルを使用できますか？

私は大学に登録されているウェブスペースを所有しています。 Googleは残念ながらそのサイトで私の履歴書（履歴書）を見つけましたが、Google Scholarの引用件数のようなものを台無しにしている学術出版物として誤って索引付けしています。 robots.txtをローカルのサブディレクトリにアップロードしようとしました。問題は、Googleがこのファイルを無視して、代わりに学校ドメインのルールを

2熱

1答えて

Apacheが私の.htaccessを意図した通りに使用しているかどうかはどうすればわかりますか？

私は私のウェブサイト上でPDFのインデックスを作成することからGoogleを防ぎたい。私はGoogleのウェブマスターツールにより示唆されるように、次の行を含めるために私の.htaccessファイルを変更した： <Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files> 私はアクセスをブロックする

3熱

3答えて

robots.txt - "/ node /"を含むURLを除外します

/node/patternを持つURLのインデックスを作成しないようにするにはどうすればよいですか？次のとおりですが、私は、Googleが依然として /node /を持つ多くのURLにインデックスを付けていることに気付きました。 www.mywebsite.com/node/123/32 のDisallow：のDisallow：/ノード/ ことがある/ノード/ が、私は以下のようなものを書くべ

0熱

1答えて

robots.txtの動的ページを許可しない

robots.txt内のすべての動的ページをどのように許可しないのですか？など。 page.php?hello=there page.php?hello=everyone page.php?thank=you 私はpage.phpとすべての可能な動的バージョンを許可しません。私は User-Agent: * Disallow: /page.php を持っている。しかし、これはまだ、

-1熱

1答えて

Robots.txt /検索エンジンから単一のHTMLタグを非表示にするにはどうすればよいですか？

私は、1ページのポートフォリオを構築しています。そのポートフォリオの下部には連絡先フォーム/セクションがあります。私のフォームの次には、私が提供できるサービスのほとんどが掲載されています。これは同じ種類の多くのキーワードになりますので、検索エンジンからそのセクションをどうやって隠すことができるのだろうと思い始めました。私の最初の考えは、robots.txtを使用していましたが、より良い考えがある

0熱

1答えて

サブディレクトリ内のWordpressブログを使用しているときに、ルートディレクトリに.htaccessファイルが存在する

標準的な書き換えを扱う私のすべてのサイトのルートディレクトリに.htaccessファイルがあります。次のように.htaccessファイルの全体の内容は次のとおりです。私はWPのブログが動作不能になったサブディレクトリ（/ブログ）でWordpressのブログをインストールするときに Options +Indexes Options +FollowSymLinks RewriteEngine on

1熱

1答えて

robots.txtファイルが無効です。

これは私のrobots.txtです。ベースURLをインデックス化するにはdomain.comを許可し、domain.com/fooとdomain.com/bar.htmlのようなすべてのサブURLを許可しないようにします。 User-agent: * Disallow: /*/ これは有効な構文かどうかわからないため、私はGoogleウェブマスターツールを使用してテストしました。それは私にこ

1熱

2答えて

親ノードがLINQ to XMLの特定の値と等しい場合に子ノードを選択する方法

私が構築しているアプリケーションの一部は、XMLドキュメントからrobots.txtファイルを生成する必要があります。私はそうのようなXMLを持っている： <root> <Robots> <UserAgents> <UserAgent>*</UserAgent> <Disallow> <Item>/wibble/</Item>

1熱

1答えて

robots.txtなしでロボットをブロックする方法

robots.txtは、われわれのように、Webクローラ/ロボットによる特定のWebページ/セクションのインデックス作成を避けるのに役立ちます。しかし、この方法を使用するといくつかの欠点があります。1. Webクローラーがrobots.txtファイルを聞くことができない。あなたが保護したいフォルダを誰にでも公開しています。クローラから保護したいフォルダをブロックする別の方法がありますか？これらの

0熱

1答えて

防止インデックススクリプトのURLから検索エンジン

： domain.tldに/ [ここにあるものは何でも] のrobots.txt User-agent: * Disallow: /? ん動作するようです。しかし、メインページのインデックス作成を許可するには。