私はGithubを使用して私のウェブサイトのテキストを保存していますが、問題はGithubのテキストもGoogleが索引付けしていることです。同じテキストが私のサイトとGithubの両方に表示されます。例えばthis searchトップヒットは私のサイトです。 2番目のヒットはGithubリポジトリです。私のGithubリポジトリのインデックス作成を中止する方法
ソースが表示されてもGoogleがインデックスを作成しないようにします(重複するコンテンツに対してペナルティを課すことはありません)。リポジトリを非公開にする以外にインデックス作成を停止するよう指示する方法はありますかそれ?
Github Pagesの場合はどうなりますか?それらは、ソースがGithubリポジトリにあるサイトです。彼らは重複の同じ問題を抱えていますか?
テイクthis searchベストヒットはthe Marpa siteになりますが、検索結果にsourceが表示されません。どうやって?
を行くことができ、私はマスターブランチの塊が許可されて表示されますが、他の全ての枝が無効になっています。これは、おそらく、索引付けされていないMarpaコンテンツの説明です。したがって、別のブランチを使用して、マスターブランチをリポジトリから削除すると、インデックス作成が停止します。 – szabgab
[robots.txt指令の要約] [1] [1](http://ntzeta.com/news/avoid-search-engine-indexing) –