ウェブサイト全体のコンテンツをクロールする

私は内部の非共有ポイントWebサイトとしてコンテンツソースを指定していますウェブサイト全体のコンテンツをクロールする

しかし、「カスタム - ページの深度とサーバーのホップを指定する」を指定しない限り、フルクロールではWebサイトのルートにある22ページのみがクロールされます（100個あります）。 'ページの深さ'サーバーの制限を無制限に制限する

これで、クロールが精神的になります。

アップデート：私はあなたがこのクロールを行うために使用している正確にどのツール/技術を指定したい場合がありますMS検索Server Expressの2008

2009-04-30 Rob

...あなたがサイトをクロールするために使用している、など –

を使用しています。また、あなたは無制限以外のものを試してみましたか？結果は何ですか？

2009-04-30 16:29:30 jlarson

Wgetはかなりスマートです。ここでは、再帰的にスナップショットを作成するために使用するコマンドラインを示します。

wget -r -k -K --no-parent http://internal.example.com/

あなたが本当により具体的にする必要があり

2009-04-30 17:07:54

答えて