効率的なWebクローリング

次の方法を達成するためのJavaの良い方法は何ですか？私は自分のデータベースの新しいWebデータを取得するために思いついたのですか？配列要素の束を比較することは、行く方法ですか？いくつかのアイデアは素晴らしいだろう。商用利用のためのコースのいくつかの注意点と効率的なWebクローリング

Crawler imdbCrawler = new Crawler(files.getLocalTitles("C:\\Movies")); 
//add these titles to the database 
//query to get existing DB titles, get directory titles and crawl negated union of these titles

出典

2010-12-28 el_pup_le

あなたが達成しようとしていることや試したことについての詳細は素晴らしいでしょう。 –

あなたが知っている

、IMDB offers their database for free ...。

第2に、コレクションの中のオブジェクトがHASデータの場合、それは既にクロールしたことを意味します。それがなければ、まだクロールが必要です。新しいリンクが見つかった場合は、そのデータをコレクションに追加するだけです（データがない場合）、データ収集スレッドで後で見つけられます。

デッカー

出典

2010-12-28 12:56:19 Dekker500

効率的なWebクローリング

答えて

関連する問題