大量の文字列をJavaでソートするための効率的でスケーラブルな方法

Question

私は、入力ファイルから大量の文字列をソートし、ソートした結果をJavaの新しいファイルに出力するアイディアを探しています。入力ファイルが非常に大きくなる可能性があるという要件があります。私はソリューションのパフォーマンスを考慮する必要があるので、どのようなアイデアですか？

Answer 1

External Sorting技術は、大量のデータをソートするために一般的に使用されます。これがあなたが必要とするものかもしれません。

externalsortinginjavaは、このためのJavaライブラリです。

Answer 2

SQLデータベースはありますか？ソート可能な列またはセクションを索引付けしてすべてのデータを表に挿入した場合は、ソート結果をより効率的に出力できます（またはそうでない可能性があります）。このソリューションは、データ量が利用可能なRAMの量を上回る場合にも役立ちます。

どのくらい大きいのか、目的は何かを知ることは興味深いでしょう。

Answer 3

ファイルをメモリに読み込める量に分割します。 各金額をソートしてファイルに書き込みます。 （すべてをメモリに収めることができれば完了です） 結果のファイルを1つのソート済みファイルにマージします。

CPUの効率を向上させるために、基数ソートの形式を使用することもできますが、主なボトルネックは、すべて書き直しと再読み込みだけです。