robots.txt - noindex images、noindex admin - wordpress

Question

私は現在、私のWP Adminのインデックス登録を許可しないrobots.txtファイルを使用しています。私も自分の画像をインデックス化STOPに検索エンジンを希望

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 

：現在、私のロボットファイルは次のようになります。これらは私のプライベートポートフォリオイメージであり、私はそれらをオンライン検索に表示させたくありません。

Google画像ボットとBingボットの制限を追加します。私のRobots.txtファイルは次のようになります：

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 

User-agent: Googlebot-Image 
Disallow:/

User-agent: msnbot-media 
Disallow:/

これは正しく書かれていますか？ 他の提案はありますか？私が含むべき他のイメージボットはありますか？

Answer 1

あなたの現在のレイアウトは正しいですが、ブロックロボットが画像をクロールするのを包括的な方法があります。

あなたはWordPressを使用している、私はあなたがまたあなたのrobots.txtに以下を追加することができることを意味し、通常のファイルアップロードの構造、使用していると仮定するつもりだということを見て：私は

User-agent: * 
Disallow: /wp-content/uploads/ 

をだろうアップロードフォルダにある画像のみがブロックされるため、現在の画像と組み合わせて使用​​することをお勧めします。

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /wp-content/uploads/ 
Allow: /wp-admin/admin-ajax.php 

User-agent: Googlebot-Image 
Disallow:/

User-agent: msnbot-media 
Disallow:/

このルートは最初に原始的に見えるが、そこにあることを心に留めておくことがあります。これは、あなたの完全なリストは次のようになりますなど、あなたのテーマファイル、またはプラグインコンテンツに直接イメージに

を動作しません。 hundreds of crawlersがあります。それぞれのルールを作成すると、かなり重度の頭痛を引き起こすでしょう。あなたのイメージの99.9％が置かれている場所の位置を遮断することによって

、あなたが見つけることができるすべてのクローラーの一覧を表示する必要性をelimate、あなたはまた、彼らが付着した場合に任意の新しいクローラーがすぐにリストに追加されていることを確認しますrobots.txtファイルに追加します。

この時点では、ロボットファイルを完全に無視するかなりのWebクローラーがあることにも言及する価値があります。