クローラからの一時データを格納するために使用するデータストアは何ですか？

Question

私のクローラはすべてのウェブサイトをクロールしており、そこからメタデータ情報を取得しています。 その後、URLをサニタイズしてAmazon RDSに保存するスクリプトを実行します。

私の問題は、サニタイズ目的でデータストアに使用するデータストア（不要なURLを削除する）です。私はクローラがAmazon RDSを叩いて遅くなることを望んでいません。

Amazon SimpleDBを使用すべきですか？次にSimpleDBから読み込み、URLをサニタイズしてAmazon RDSに移動します。

Answer 1

いつでもdbを使用できますが、問題はディスクアクセスによるものです。毎回あなたはディスクのアクセスをして一連のURLを読みとり、それらをサニタイズし、別のディスクアクセスである別のデータベースに書き出します。このプロセスは、パフォーマンスが心配されていない場合でもOKです。

リストのような単純なデータ構造を使用したり、束を保管したり、URLがスレッシュホールドに達したときに起動するスレッドがあると、これらのURLをAmazonに書き込むことができますRDS。