Cでの大容量メモリの問題

Question

すべて 私は大量のリアルタイムデータをできるだけ早く処理する必要があります。

これらのデータは、マルチネットワーク接続スレッドからのものです。

すべてのネットワークスレッドは、共有関数にデータを渡して、あるデータを復活させた後、そのデータをオブジェクトごとにコンカレント辞書に保存します。

問題は、この辞書に格納された150Kに達する可能性のある問題です。

更新するオブジェクトを取得するときに、受け入れられた時間ではなく時間がかかります。

public class MyObject 
{ 
    System.Timers.Timer LostTimer = new System.Timers.Timer(); 
    public int ID; 
    public DateTime UpdateTime; 

    public MyObject() 
    { 
    LostTimer.Interval = 20000; 
    LostTimer.Elapsed+=TimerElapsedHandler(LostTimer_Elapsed); 
    LostTimer.Enabled = true; 
    } 

    void LostTimer_Elapsed(object sender,EventArgs e) 
    { 
    if(UpdateTime > DateTime.Now.AddSeconds(-20)) 
     Console.WriteLine(ID + " Lost..."); 
    } 

} 

public class MyClass 
{ 
    public MyClass(){} 

    private ConcurrentDictionary<int,MyObject> Objects = new ConcurrentDictionary<int,MyObject>(); 

    void NetworkThread1DataRecived(eventArgs e) 
    { 
    Translate(e.Data); 
    } 
    void Translate(string[] data) 
    { 
    Task.Factory.StartNew(()=> 
    { 
     Parallel.ForEach(data, s (()=> 
     { 
     MyObject o = null; 
     Objects.TryGet(int.Parse(s),out o) 
     if(o == null) 
     {  
      o = new MyObject(); 
      o.ID = int.Parse(s); 
      o.UpdateTime = DateTime.Now; 

      Objects.TryAdd(s,o); 
     } 
     else 
     { 
      o.UpdateTime = DateTime.Now; 
     } 
     }); 
    }); 
} 
} 

30Kを超えるオブジェクトを処理すると、オブジェクトが失われます。私は緊急に助けが必要です

論理は、私は現在のシステム時間からオブジェクト猶予期間を差し引いて、そのオブジェクトの最終更新時間と比較しています。 このタイプのスレッドセーフな配列（ディクショナリ）は、この大量のデータを処理できないため、オブジェクトが失われる原因となるread/writeアクセス遅延が発生すると思いますか？ 私はリストとロック（オブジェクト）{}を使用してこの共有メモリへのマルチスレッドアクセスを処理していましたが、10Kのオブジェクトの後で失敗します。 辞書に変更した後（スレッドセーフリストの.Netビルド）、30Kでうまく動作します。 私の目標は150Kに到達することです、私はこの論理でそれに到達することができますか、より良いアイデアがあります。

Answer 1

したがって、追加するオブジェクトごとに（30Kオブジェクト）、タイマーを作成します。 30,000タイマーがアクティブです。

私はこれがかなりのオーバーヘッドを作り出していると思います。

ロギング/監査専用の場合は、1タイマーでこれを行う必要があります。おそらくログに記録するオブジェクトのリスト/辞書を別々に作成します。