秘密のフォルダを非表示にするrobots.txtのベストプラクティス

Question

私は自分のウェブサイトに秘密のフォルダを持っており、検索エンジンにそのことを知らせたくありません。このフォルダ名をrobots.txtに書き込むことは、自分の訪問者にその秘密のフォルダについて知らせることになるので、私はrobots.txtのDisallowルールにフォルダ名を入れなかった。

私の質問では、検索エンジンはこのフォルダについて知ることができますか、このフォルダにリンクが公開されていなくてもそれをクロールしますか？

Answer 1

ディレクトリをすべての人に隠す唯一真に信頼できる方法は、パスワードの後ろに置くことです。

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/ 

、その後はこのように、名前のちょうど最初の部分をブロック：

Disallow: /secret- 

あなたは絶対にパスワードの後ろにそれを置くことができない場合は、1バンドエイドソリューションのようなフォルダの何かに名前を付けることです

これは完全に名前を明らかにせずにディレクトリを効果的にブロックします。 robots.txtに従うすべてのクローラがディレクトリをクロールするのを防ぎますが、敵対的なクローラが簡単に見つけることはできません。実際のセキュリティのためにこれを間違ってはいけません。これは、主要な検索エンジンを維持します。それ以上の保証はありません。また、秘密のディレクトリからすべての人を守る唯一の信頼できる方法は、パスワードの後ろにディレクトリを置くことです。

Answer 2

はい、クロールできます。

あなたのフォルダは「秘密」ではありません。クールコマンドラインをすばやく検索してサイト全体をダウンロードし、サイトでそれを試して、あなたのセキュリティアプローチが無効であると確信してください。ここで

が良い例です：あなたは、エージェントがディレクトリのリストを要求することができることを防止するために.htaccessファイルができ download allfolders subfolders and files using wget

、そしてあなたがあなたのフォルダ明白な名前を付けていない場合、これはおそらくかなりよくあなたを守ります"サイト"のように、私はそれをテストするだろう。 参照deny direct access to a folder and file by htaccess