動的ページのクロールを有効にするにはどうすればよいですか？

Question

私は自分のサイトから公開情報を作成したいと考えています。私のサイトは認証で保護されていますが、ユーザーに関する情報の一部は、URL http://example.com/public/userで共有できます。 10k +ユーザ用のページを生成し、robot.txtを使用すると、本当に集中的に聞こえます。動的コンテンツをクロールできるようにする方法はありますか？

facebookやlinkedinのような参照サイトについては、同じことをしています。スペースはここで本当の問題になる可能性があります！ 特に、私はページを取得するためにクローラを支援するWebサーバーの設定を探しています。

は、私は私がサイトを所有し、この場合には、同じトピックに関する他の回答を、読んでいると私は、インデックス、特に公共の一部のプロセスは、動的または静的なページでも同じです

Answer 1

にクローラを許可したい：あなたがする必要がありますインデックスを付ける各ページへのリンクがありますどこか。

選択するツールはsitemap.xmlです。ルートディレクトリに最新のものがあり、関連するすべてのレコードを参照していることを確認してください。

ダイナミックサイトの場合は、使用可能なすべてのURLを知っているスクリプトを作成して、サイトマップファイルを生成する可能性があります。

スペースが本当に制約条件である場合は、その場でサイトマップを生成し、ウェブスペースに保存せずに出力することができます。しかし、サイトマップをローカルに格納するキャッシング戦略のいくつかの形式は、スマートな動き（たとえば、1時間ごとに実行され、静的なsitemap.xmlを生成するスクリプト）である可能性があります。

サイトマップファイルのURLをGoogle Webmasters programに明示的に送信して、できるだけ早くファイルのインデックスが作成されるようにしてください。ウェブマスターコンソールには、サイトマップに問題があるかどうかが表示されます。