GitHubページでrobots.txtを使用する感覚は何ですか？

Question

robots.txtファイルは、第三者のインデックスコンテンツサイトのWebクローラをブロックするために使用されていることがわかりました。

しかし、このファイルの目的は、サイトのプライベートエリアを限定することであるか、プライベートエリアを保護することです。これは、robots.txtでコンテンツを非表示にする意味で、GitHubリポジトリ？

私の質問はカスタムドメインを使用して例を拡張します。

GitHubページの中にファイルrobots.txtを使用する動機はありますか？はい、もしくは、いいえ？なぜ？そのコンテンツを効果的に隠された滞在のための

オルタナティブ1
、その後、ウェブサイトのために支払う必要があっただろうプライベートリポジトリを取得することです。

Answer 1

robots.txtの意図は、ロボットにはアクセス権がないため、私的領域を限定することではありません。代わりに、それは検索エンジンなどで索引付けされたくない雑多な雑多なものがある場合に備えています。

たとえば、私は娯楽のためにフラッシュゲームを書いており、GitHub Pagesを使ってゲームが更新をチェックできるようにしています。内部新バージョンの数、新バージョンの表示名、およびダウンロードリンク：私は、その内容のすべては、それは次の3件の情報が含まれてい

10579 
2.2.3 
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202 

で、私のGHPにthis fileを開催しています。したがって、クローラでインデックスを作成した場合は必ず無駄です。robots.txtがある場合は、インデックスを作成しないようにします。