Javaでtxtファイルをソートする最適な方法

Question

私はopencsvライブラリを使って処理しているCSVファイルを持っています。だから私は各行で読むことができます。私が行う必要がある特定の変換では、私がJavaファイルの主要部分を実行する前に、まずそのファイルをソートする必要があります。

私はこれを実行する必要が

5423, blah2, blah 
5323, blah3, blah 
5423, blah4, blah 
5444, blah5, blah 
5423, blah6, blah 

5323, blah3, blah 
5423, blah2, blah 
5423, blah4, blah 
5423, blah6, blah 
5444, blah5, blah 

などになる必要があります。..

理由は、私は同じIDを持つすべての行を組み合わせて、新しいファイルに出力しています。

に何か問題：

1. opencsvライブラリでcsvファイルの各行を読む

2. この

   にソートのいくつかの並べ替えを実行して2次元配列に

3. それらを追加します。

4. ソートされた配列をループしてファイルに出力します。

データのソートには他にどのようなアイデアがありますか？

Javaでビットが錆びます。

UPDATE： それは次のようになり、最終的な出力

に明確にする：これは私がやっているのは非常に単純化したバージョンである

5323, blah3, blah 
5423, blah2!!blah4!!blah6, blah 
5444, blah5, blah 

。実際には、JBaseシステムの複数のオプションフィールドに必要です。これは要求されたファイル形式です。

元のファイルには100,000以上の行があります。

これは2回以上実行され、実行される速度は私にとって重要です。

Answer 1

最新のリクエストを達成するには、GoogleのコレクションでMultimapを使用することを強くおすすめします。あなたのラインエンダーとして"blah\n"使用する必要が

CSVReader reader = ...; 
CSVWriter writer = ...; 

Multimap<String, String> results = TreeMultimap.create(); 

// read the file 
String[] line; 
for ((line = reader.readNext()) != null) { 
    results.put(line[0], line[1]); 
} 

// output the file 
Map<String, Collection<String>> mapView = results.asMap(); 
for (Map.Entry<String, Collection<String> entry : mapView.entries()) { 
    String[] nextLine = new String[2]; 
    nextLine[0] = entry.getKey(); 
    nextLine[1] = formatCollection(entry.getValue()); 
    writer.writeNext(nextLine); 
} 

：あなたのコードは次のようになります。スピードを気にするが、エントリーを並べ替えるのではなく、HashMultimapと同様にベンチマークする必要があります。

私の前の回答：

最もstraightford方法は、* nixのでsortコマンドを使用することです（例えば、LinuxおよびMac OS）は、

sort -n myfile.csv 

のようにWindowsは、同様sortコマンドを持っていますが、（すなわち、5 'は' '13、」行）の前に置かれるアルファベット順に行をソートします。

ただし、推奨される解決策に間違いはありません。配列を作成してソートする代わりに、TreeSetを使用することもできます。

EDIT：Windowsについてのメモを追加します。

Answer 2

Collections.sort()とComparatorインスタンスを試しましたか？

Answer 3

単一次元のArrayList（または他のコレクション）を使用して、コレクションのソート方法を使用してJavaで並べ替えることができます。あなたが説明したすべてのものはかなり標準的に聞こえる。

Answer 4

あなたはアイテムを「並べ替える」必要があると言いますが、あなたの説明はグループのように聞こえます。これは多くの方法で行うことができます。 google collectionsによって提供されるようなマルチマップを調べることができます。

HashMap<Long, List<String>> 

を作成して、各行を読んでから適切なリストに配置するだけで済みます。このような場合の私の好みは、ファイルを2回通し、各キーに新しいArrayListを追加するため、そして各文字列をリストに追加するための2回目のパスですが、単一パスを使用する方が効率的ですリストが既に地図にあるかどうかをチェックします。

Answer 5

全体をソートする必要はありません。私はあなたが持っている行数は分かりませんが、何らかのハッシュベースのスキームを使うことができるようです。ファイルをハッシュマップでバケツと考えることができ、各行を読み終えたら、そのファイルがどのファイルに属するのかを判断します。次に、各ファイルをさらに処理することができます。あなたがこれを行うには、いくつかの方法があります。あなたは、「キー」の多くを持ってない場合は

• 、あなたは実際には単なる文字列のハッシュマップにキーとしてファイル名にキーをマップする=>の文字列（マップをメモリ内のすべてのキーを保つことができますその行が属する）。

• メモリに保存するキーが多すぎる場合。ファイルのサイズを小さくするのに役立つように、行を別のファイルにバケットしようとすることができます。その後、各ファイルをメモリに保存することができます。これにより、行をコレクションにダンプして並べ替えることができます。あるいは、おそらく私が言及した最初のスキームを使用します。

これは意味がありますか？あなたが混乱していると、私はおそらくもっと詳しく説明することができます。私はあなたのキーが何とかあなたのCSVラインのすべての列を組み合わせて作られると思います。

このアプローチは、ファイルが非常に大きくなった場合に、よりスケーラビリティが向上します。理論的には、ハッシング・スキームはただO（n）ですが、ソートにはO（nlogn）時間がかかります。

Answer 6

FlatPackは、そのようなファイルを読み込んで並べ替えるのに最適です。また、データセットをファイルにエクスポートするオプションもあります。あなたは、IDのソートにのみ関心がある、とそのID内の順序について気にされていない場合は

Answer 7

、あなたは単にTreeMapのとコモンズコレクションからMultiValueMapを組み合わせることができます

MultiValueMap m = MultiValueMap.decorate(new TreeMap()); 

m.put(2, "B"); 
m.put(3, "Y"); 
m.put(1, "F"); 
m.put(1, "E"); 
m.put(2, "K"); 
m.put(4, "Q"); 
m.put(3, "I"); 
m.put(1, "X"); 

for(Iterator iter = m.entrySet().iterator(); iter.hasNext();) { 
    final Map.Entry entry = (Map.Entry)iter.next(); 
    System.out.println(entry.getKey() + ": " + entry.getValue()); 
} 

をこれが与え実行します：

1: [F, E, X] 
2: [B, K] 
3: [Y, I] 
4: [Q] 

MultiValueMapで使用するコレクションタイプを指定できるオーバーロードされたデコレートメソッドがあります。 ID内でソートする必要がある場合は、これで何かできます。