検索エンジンはリンクされていないページをどのように取得しますか？

Question

私は非常に多くのDropboxのページがなどグーグル、ビング、でインデックス化されていることに気付き、これらの検索エンジンは、このようなインスタンスのリンクについては入手方法を疑問に思った：

https://dl.dropboxusercontent.com/s/85cdji4d5pl5qym/37-71.pdf 

https://dl.dropboxusercontent.com/u/11421929/larin2014.pdf 

上のリンクがないことを考えますdl.dropboxusercontent.comをフォローし、パス構造を推測するのは簡単ではありませんが、検索エンジンがそのようなリンクをどのように取得する可能性がありますか？

1つの解決策は、フォーラムに投稿され、検索エンジンで取り上げられた可能性がありますが、かなりのリンクを検索し、成功なしにバックリンクをチェックしました。私はまたBingとYahooがGoogleよりもかなり多くの結果を示していることに気付きました.Bingはこれらのリンクを拾う上でより良い仕事をしてくれそうです。

Answer 1

文書が本当にリンクされていなくても（自分のサイトにはリンクがなく、誰か他のサイトにリンクがなくてもsitemap、文書にリンクされているサイトのRefererログはありません）、検索は可能ですリンクを見つけるためのエンジン。

2つの方法があります。

• 誰かが（かどうか公衆ツールを使用して、または、サイトのウェブマスターアカウント経由）検索エンジンにURLを提出することができます。

• 検索エンジンは、特定のユーザーがブラウザで訪れるすべてのURLを取得する可能性があります。これは、たとえば、ユーザーがその検索エンジンからツールバーをインストールしたときに発生します。これは、ビングの場合である、私のrelated answer on Webmasters SEを参照してください。

  マイクロソフトは、彼らがインストールさビングツールバーでインターネットサーフィンのユーザーによって見つけるURLを発見し、インデックスを行うことを確認しました。

そしてもちろんより多くの方法、があるかもしれません。