Lucene Indexingパフォーマンス

Question

データベースデータをディスクにインデックスするプログラムを作成しましたが、索引付けの速度が適切かどうか、つまり非常に遅いかどうか、速度をさらに向上できるかどうかはわかりません。

私が得るスピードは、1時間あたり約15000ドキュメントで、新しいインデックスの作成には約2600KBのインデックスディレクトリサイズになります。

私は、Lucene 6.0.0とWindows 8.1 64ビットOS、16GB RAM、Intel Core i7 8 Coreマシンを使用しています。私はローカルマシン上でインデックスを作成していますが、どのような種類のディスクを持っているのかわかりません。通常はWindows PCに付属しています。

私はスプリングバッチをINNER JOINに2つのデータベーステーブルを使用して、ItemReaderから行マッピングオブジェクトを取得しています。このオブジェクトからDocumentを準備します。

Lucene 6.0.0では、既存のドキュメントを更新するだけでなく、ドキュメントがまだ存在しない場合は、ドキュメントをインデックスに追加するため、常にメソッドwriter.updateDocument(contentDuplicateKeyTerm, doc);ではなくaddDocument(doc)を使用しています。

私のプログラムを比較するベンチマークは認識していません。

お勧めします。

編集：これで、1時間に約1,800,000のドキュメントのパフォーマンスを達成することができました。各Documentを更新した後、問題はIndexWriter.commit()となっていましたが、今は定期的にコミットしており、パフォーマンスが大幅に向上しています。

Answer 1

私は複数の間違いを犯していました。そのため、書き込みパフォーマンスが遅かったのです。いくつかの間違いや是正が下に列挙されています。

1.私は各文書の後にコミットしていましたが、Springバッチを使用しているので、各チャンクの後にコミットするようプログラムを変更しました。コミット間隔を増やすとパフォーマンスが大幅に向上しました。

2.私は不必要にライターインスタンスを閉じて再オープンしていました（最初のロジックはそう設計されていました）。私はプログラムのロジックを変更して、アプリケーションスコープ内で単一のライターインスタンスを維持し、必要な場所であればそれを再利用し続けました。

3.ソース・データはDB2データベースであり、読み取りはテーブルから遅かった。私はインデックスを追加して読み込みパフォーマンスを向上させました。

4.ルーセンライターはスレッドセーフなので、私はシングルスレッドの代わりにマルチスレッド化して書き始めました。

ルーネンライターのコミット間隔を長くしても、索引作成に時間がかかりません。大量の文書を保持し、文書の読み込みと準備に時間がかかりません。 Luceneは、残りの処理が高速であれば数分で数百万の文書を索引付けできます。