Java - 大量のString配列を効率的に格納する方法

Question

大規模なCSV形式のファイル（通常は200-600mb）をJavaで（効率的にメモリにアクセスし、できるだけ高速に）ロードしようとしています。現在、プログラムは文字列配列のリストを利用しています。この操作は以前は、各CSV行のテーブルと各「行」テーブルを保持するテーブルを使用するLuaプログラムで処理されていました。

以下

は、メモリの違いやロード時間の一例である：

• CSVファイル - 232メガバイト
• のLua - メモリ内の549メガバイト -
• のJavaをロードするために157秒 - メモリ内の1378メガバイト - 12秒をロードする

正しく覚えていれば、実際の値への参照として、Luaテーブルの重複した項目が存在します。私は、Javaの例では、リストには各重複値の別々のコピーが保持されており、それはより大きなメモリ使用量に関連している可能性があると考えられます。以下

は、CSVファイル内のデータ上でいくつかの背景である。各列内

特定のフィールドは、文字列（例えば、フィールドのセットの1つを含むことができる各フィールドは文字列で構成

• 3とすることができます「赤」、「緑」、または「青」）。
• コンテンツ内に個の重複文字列があります。があります。以下は

がロードされたデータを必要とすることができるもののいくつかの例です：指定した文字列と一致し、GUIに一致する文字列に

表示の一致を返そうと、すべての文字列による

• 検索テーブル（フィールドからソート可能）。
• 文字列を変更または置き換えます。

私の質問 - データを保持するのに必要なメモリは少なくても、データを簡単かつ迅速に検索/並べ替える機能はありますか？

Answer 1

たぶん、この記事では、いくつかの助けになることができます。ちょうどサイドノートとして

http://www.javamex.com/tutorials/memory/string_saving_memory.shtml

Answer 2

メモリの問題を最適化するには、Flyweightパターンを使用するようアドバイスしてください。特に、重複が多いフィールドの場合は注意してください。

コレクションには、TreeSetまたはTreeMapを使用できます。あなたはLineItemクラスに良い実装を与える場合

あなたはメモリが大量に使用する最適化することができます（equals、hashcodeとComparableを実施）。

Answer 3

DAWG

Aは、非環式単語グラフは、（とにかくメモリ消費のための最良の）単語を格納するための最も効率的な方法で指示しました。

しかし、おそらくここでは、重複していないと言っている人もいますが、同じインスタンスに対して複数の参照を行うだけです。

Answer 4

。

重複した文字列データについては、Java自体がすべての文字列が最終的なので気にする必要はなく、すべての参照がメモリ内の同じオブジェクトを対象とするため、心配する必要はありません。

LUAは仕事をしていませんどのようにわからないが、Javaで、それはまた

Answer 5

つの簡単な解決策は非常に効率的でなければなりません。あなたはすべてのユニークな文字列への参照を入れていたことがある場合は、HashMapを持つことができます。 ArrayListには、既存の一意の文字列への参照がHashMapにあります。

ような何か：

private HashMap<String, String> hashMap = new HashMap<String, String>(); 

public String getUniqueString(String ns) { 
    String oldValue = hashMap.get(ns); 
    if (oldValue != null) { //I suppose there will be no null strings inside csv 
    return oldValue; 
    }   
    hashMap.put(ns, ns); 
    return ns; 
} 

簡単な利用法：

List<String> s = Arrays.asList("Pera", "Zdera", "Pera", "Kobac", "Pera", "Zdera", "rus"); 
List<String> finS = new ArrayList<String>(); 
for (String er : s) { 
    String ns = a.getUniqueString(er); 
    finS.add(ns); 
}