string.intern（）の競合を避け、メモリフットプリントを低く抑えるにはどうすればよいですか？

Question

かなり大きな（200 MB）XMLファイルを解析していて、それぞれが一連のパラメータ（key = value）を定義するオブジェクトのツリーになっています。このデータ構造はTomcat Webアプリケーションで実行され、これらのパラメータを検索するために使用されます。

数か月前に、このサーバーでヒープメモリの問題が検出されました。パラメータのキーと値（ほとんどが非常に冗長）をインターナショナルにすることで、メモリのフットプリントを150 MB以上から20 MBに縮小することで解決できました。

今日、人々は起動時間について不平を言っているので、私はサーバを再訪しています。私はサーバーにプロファイリングしており、XPP3でXMLを解析するには40秒かかります。ここでString.intern（）は30秒以上かかります。

これはトレードオフです。私は自分自身でインターンをすることができることを知っています。 XMLを解析すると、単純にHashMapがその仕事をする可能性があるため、シングルスレッドになります。しかし、あなたは知っている、これは奇妙な感じです。

String.internを別のソリューションに置き換える価値があるかどうかを誰かが気にしていませんでしたか？

質問は？どのように私はそのような問題のためにできるだけ低い競合を得ることができますか？

おかげで、 ステファン

Answer 1

は、余分な間接ステップを追加します。キーを保持して二HashMapを持っており、メモリ内の構造物にそれらを挿入する前に、最初にそこの鍵を探します。これにより、String＃intern（）よりもはるかに柔軟性が向上します。

しかし、200MBのXMLファイルをすべてのTomcat起動時に解析する必要がある場合、余分な10秒で人が不満を募らせます（彼らは毎回Tomcatを再起動しますか？） - フラグをポップアップしますパースされたデータを保持するためにApache Derbyを使用していますか？）。

Answer 2

文字列が検証された「名前」オブジェクトに解析されているという問題がありました。 これはアプリケーションのあらゆる場所で実行され、メモリと速度の両方で最適化する必要がありました。

いくつかのテストを実行した後、私たちは最終的に解析と名前の実装の両方で、char配列を処理するソリューションを完成させました。

String.toCharArray()文字列の配列を取得するか、String.charAt(pos)を使用できます。配列間を素早くコピーするために、System.arrayCopyを使用しました。

実際には、ルックアップにキャッシュを使用するよりも解析が高速でした。

Answer 3

String.intern（）は、文字列を追加するほどうまくスケールされないようです。それはプール内の文字列の数でO（n）に現れます。

Random rand = new Random(); 
for(int i=0;i<100;i++) { 
    long start = System.nanoTime(); 
    for(int j=0;j<100000;j++) 
     Long.toString(rand.nextLong()).toString().intern(); 
    long time = System.nanoTime() - start; 
    System.out.printf("Took %,d ns on average to intern() a random string%n", time/100000); 
} 

プリント

Took 1,586 ns on average to intern() a random string 
Took 3,843 ns on average to intern() a random string 
Took 7,551 ns on average to intern() a random string 
Took 13,436 ns on average to intern() a random string 
Took 20,226 ns on average to intern() a random string 
Took 27,609 ns on average to intern() a random string 
Took 35,098 ns on average to intern() a random string 
Took 42,439 ns on average to intern() a random string 
Took 50,801 ns on average to intern() a random string 
Took 20,975 ns on average to intern() a random string 
Took 4,634 ns on average to intern() a random string 
Took 10,512 ns on average to intern() a random string 
Took 16,914 ns on average to intern() a random string 
Took 23,601 ns on average to intern() a random string 
Took 30,230 ns on average to intern() a random string 
Took 36,184 ns on average to intern() a random string 
Took 43,266 ns on average to intern() a random string 

代わりIは、文字列プールとしてアレイを使用します。

private static void testHashArray(String[] strings2, int size) { 
    String[] pool = new String[size]; 
    int hit=0, miss=0; 
    long start2 = System.nanoTime(); 
    for (String s : strings2) { 
     int hash = (s.hashCode() & 0x7fffffff) % pool.length; 
     String s2 = pool[hash]; 
     if (s.equals(s2)) { 
      hit++; 
     } else { 
      miss++; 
     } 
     if (s2 != s) 
      pool[hash] = s; 
    } 
    long time2 = System.nanoTime() - start2; 
    System.out.printf("Hash size: %,d took %.3f second. Hit/miss %,d/%,d %n", size, time2/1e9, hit, miss); 
} 

public static void main(String... args) { 
    Random rand = new Random(); 

    // a million unique strings. 
    String[] strings = new String[1000 * 1000]; 
    for (int i = 0; i < strings.length; i++) 
     strings[i] = String.valueOf(rand.nextLong()); 
    // random selection of Strings 
    String[] strings2 = new String[10 * 1000 * 1000]; 
    int totalSize = 0; 
    for (int i = 0; i < strings2.length; i++) { 
     int idx = (int) Math.pow(strings.length, rand.nextFloat()); 
     String s = strings[idx]; 
     strings2[i] = s; 
     totalSize += s.length() + 16; // with overhead 
    } 
    System.out.printf("Original size %,d%n", totalSize); 

    Set<String> uniqueStrings = Collections.newSetFromMap(new IdentityHashMap<String, Boolean>()); 
    uniqueStrings.addAll(Arrays.asList(strings2)); 
    System.out.printf("Unique strings %,d%n", uniqueStrings.size()); 

    long start = System.nanoTime(); 
    HashMap<String,String> map = new HashMap(); 
    for(String s: strings2) 
     map.put(s,s); 
    long time = System.nanoTime() - start; 
    System.out.printf("Took %.3f second to map strings%n", time/1e9); 

    testHashArray(strings2, 10192); 
    testHashArray(strings2, 101929); 
    testHashArray(strings2, 1019291); 
} 

プリント

Original size 353,293,201 
Unique strings 766,222 
Took 0.979 second to map strings 
Hash size: 10,192 took 0.357 second. Hit/miss 5,213,210/4,786,790 
Hash size: 101,929 took 0.309 second. Hit/miss 7,202,094/2,797,906 
Hash size: 1,019,291 took 0.254 second. Hit/miss 8,789,382/1,210,618 

---

インターンをしていることはどのようにバックグラウンドスレッドでロードした後、それを実行については、遅い場合。サーバがロードされた後、重複が見つかると文字列をintern（）することができます。

実際に130MBを保存する必要がありますか？私はそれが素晴らしいと思うけど、メモリはとにかく何かのために使用されるだろうか？

intern（）でフォームを高速化したい場合は、固定サイズの配列を使用できます。

Answer 4

これは別の考えですが、クッキー側で少し音がするかもしれません。あなただけの自分のXMLファイルを解析し、実際の文字列を使用してマップを移入するJavaコードを吐き出すコードジェネレータ（これらは、コンパイル時にインターンます）この

public final class ConfigurationData { 
    public static String get(String key) { 
    return map.get(key); 
    } 
    private static final Map<String,String> MAP; 
    static { 
    MAP = new HashMap<String,String>([[[ number of records to load up ]]]); 
    MAP.put([[[key 1]]], [[[ value 1 ]]]); 
    MAP.put([[[key 2]]], [[[ value 2 ]]]); 
    ... 
    } 
} 

このような

何かを書くことを考えていますプリコンパイルされたJSPと同じコンセプトに従い、最初のユーザーペナルティを節約しますが、別のビルドステップが追加され、構成ファイルの変更があった場合には展開されます（これは制御する必要があります）。