検索エンジンは、IISフォルダ内のファイル、任意のURLにリンクされていないファイル、および参照不可能なフォルダをピックアップしますか？

Question

IIS上でホストされているアプリケーションがあります。登録する任意の検索エンジン。

私はthisを読んだ：

The robots.txt standard is meant for this. Example 

User-agent: * 
Disallow: /protected-directory/ 

私は、これは必ずしもファイルがインデックス化されないことを意味するわけではないことを理解しています。

私の質問：検索エンジンは、これらのファイルにつながるURLを持たないファイルを受け取りますか？ このディレクトリは参照できません。また、このディレクトリにはリンクがありません。 私はそこにファイルを落としても安全ですか、または検索エンジンのクローラがそれを拾いますか？あなたがウェブ上のどこかに投稿このリンクを持っていないし、あなたのディレクトリが非参照可能である場合

Answer 1

、クローラは、このファイルを見つけることはありません、インデックス、それは