最適に出力する辞書

Question

私は200kから6000文字の800kの文字列を含む4つの辞書を持っています。 メモリにロードすると、約11ギガバイトのメモリが必要になります。 データを解析するのに2分、データを出力するのに2分かかります。 私が以下で使用しているものより速くデータを出力するには、とにかくありますか？ 私は第二のディスクIOあたり20〜31メガバイトを取得していますし、私は、ハードドライブが800ish

var hash1 = new Dictionary<int, Dictionary<string, string>>(f.Count + 2); 
var hash2 = new Dictionary<int, Dictionary<string, string>>(f.Count + 2); 
var hash3 = new Dictionary<int, Dictionary<string, string>>(f.Count + 2); 
var hash4 = new Dictionary<int, Dictionary<string, string>>(f.Count + 2); 
.... 
foreach (var me in mswithfilenames) 
{ 
    filename = me.Key.ToString(); 
    string filenamef = filename + "index1"; 
    string filenameq = filename + "index2"; 
    string filenamefq = filename + "index3"; 
    string filenameqq = filename + "index4"; 

    StreamWriter sw = File.AppendText(filenamef); 
    StreamWriter sw2 = File.AppendText(filenameq); 
    StreamWriter swq = File.AppendText(filenamefq); 
    StreamWriter sw2q = File.AppendText(filenameqq); 

    for (i = 0; i <= totalinhash; i++) 
    { 
     if (hashs1[i].ContainsKey(filenamef)) 
     { 
      sw.Write(hashs1[i][filenamef]); 
     } 
     if (hashs2[i].ContainsKey(filenameq)) 
     { 
      sw2.Write(hashs2[i][filenameq]); 
     } 
     if (hashs3[i].ContainsKey(filenamefastaq)) 
     { 
      swq.Write(hash4[i][filenamefastaq]); 
     } 

     if (hash4[i].ContainsKey(filenameqq)) 
     { 
      sw2q.Write(hash4[i][filenameqq]); 
     } 
    } 

    sw.Close(); 
    sw2.Close(); 
    sw3.Close(); 
    sw4.Close(); 
    swq.Close(); 
    sw2q.Close(); 
} 

Answer 1

最も高価な部分はI/Oです。そして、このループ：

for (i = 0; i <= totalinhash; i++) 
{ 
    if (hashs1[i].ContainsKey(filenamef)) 
    { 
     sw.Write(hashs1[i][filenamef]); 
    } 
    if (hashs2[i].ContainsKey(filenameq)) 
    { 
     sw2.Write(hashs2[i][filenameq]); 
    } 
    ... 
} 

は、異なるファイル間で交互に表示されます。おそらく頭部の動きが増え、断片化したファイルが作成されます（これらのファイルの将来の動作が遅くなります）。

私が使用します。

for (i = 0; i <= totalinhash; i++) 
{ 
    if (hashs1[i].ContainsKey(filenamef)) 
    { 
     sw.Write(hashs1[i][filenamef]); 
    } 
} 

for (i = 0; i <= totalinhash; i++) 
{ 
    if (hashs2[i].ContainsKey(filenameq)) 
    { 
     sw2.Write(hashs2[i][filenameq]); 
    } 
} 
... 

しかし、もちろん、あなたがこれを測定する必要があります。たとえば、SSDは機械的なディスクだけで大きな違いはありません。

Answer 2

を行うことができますがDictionary<int, Dictionary<string, myCustomDataHolder>>ではなく、4つの別々の並列Dictionary<int, Dictionary<string, string>を持つことができます知っていますか？それは消費されるスペースを大幅に削減するだけでなく、辞書のルックアップの1/4を意味します。

あなたの質問があれば、辞書が完全に並行しているかどうかは明らかではありませんが、私にとってはそうであるようです。

Answer 3

何か測定しましたか？読んだり書いたりするデータ量が少なくて済むように思えます。そのため、ディスクサブシステムのデータの読み書き速度の絶対基準を確立することが第一歩です。ファイルの単純な読み込みに続いて、予想されるおおよその量の新しいファイルへの書き込みが、最適化にどれだけ近づけることができるかを示します。

コード自体の読み書きに時間がかかりすぎても問題ありません。

Answer 4

私は

if (hashs1[i].ContainsKey(filenamef)) 
{ 
    sw.Write(hashs1[i][filenamef]); 
} 

がアクセス2ハッシュテーブルを取ることを追加したいと思います。 1つはcontainsキー用で、もう1つは実際のアクセス用です。多くの辞書アクセスが追加される可能性があるため、辞書tryGetValueメソッドを使用してこれらのアクセスを半分にすることができます。これにより、これら2つのコールが1つに統合されます。私はこれがどのように動作するか説明できますが、これは私よりもうまく機能します：http://www.dotnetperls.com/trygetvalue