効率的なマルチスレッドセット差へのアプローチ

Question

私は、ジョブを消費するコンシューマスレッドの有限集合を持っています。ジョブを処理すると、消費ジョブにリストされたサブジョブのリストが表示されます。私はデータベースにまだ持っていないリストからサブジョブを追加する必要があります。データベースには300万人がいるので、どのデータベースがデータベースにないのかを知るのは遅いです。私は各スレッドがその呼び出しをブロックしても構いませんが、競合状態（コード参照）があるので、遅い呼び出しでそれらをすべてロックする必要があります。したがって、そのセクションを1度に1つしか呼び出しできず、プログラムがクロールします。これを修正するために何をすればスレッドはその呼び出しのために減速しませんか？私はキューを試しましたが、スレッドがコンピュータのリストよりも速くジョブのリストをプッシュしているため、データベースに追加する必要があるものを判断できるため、キューを増やして空にすることはありません。

マイコード：

IEnumerable<string> getUniqueJobNames(IEnumerable<job> subJobs, int setID) 
{ 
    return subJobs.Select(el => el.name) 
     .Except(db.jobs.Where(el => el.set_ID==setID).Select(el => el.name)); 
} 

//...consumer thread i 
lock(lockObj) 
{ 
    var uniqueJobNames = getUniqueJobNames(consumedJob.subJobs, consumerSetID); 
    //if there was a context switch here to some thread i+1 
    // and that thread found uniqueJobs that also were found in thread i 
    // then there will be multiple copies of the same job added in the database. 
    // So I put this section in a lock to prevent that. 
    saveJobsToDatabase(uniqueJobName, consumerSetID); 
} 
//continue consumer thread i... 

Answer 1

よりもむしろあなたがジョブ名の一意性を確認するために戻ってデータベースにあなたがはるかに高速に存在を確認することができますメモリへのルックアップのデータ構造に関連する情報を、可能性が行きます：

Dictionary<int, HashSet<string>> jobLookup = db.jobs.GroupBy(i => i.set_ID) 
    .ToDictionary(i => i.Key, i => new HashSet<string>(i.Select(i => i.Name))); 

これは1回だけです。あなたはまた、新しいサブジョブを入力して検索し、それを追加する必要がある場合

IEnumerable<string> getUniqueJobNames(IEnumerable<job> subJobs, int setID) 
{ 
    var existingJobs = jobLookup.ContainsKey(setID) ? jobLookup[setID] : new HashSet<string>(); 

    return subJobs.Select(el => el.Name) 
     .Except(existingJobs); 
} 

：その後、あなたが一意性をチェックする必要があるたびに、あなたは、ルックアップを使用し、それは私にははっきりしていない

lock(lockObj) 
{ 
    var uniqueJobNames = getUniqueJobNames(consumedJob.subJobs, consumerSetID); 
    //if there was a context switch here to some thread i+1 
    // and that thread found uniqueJobs that also were found in thread i 
    // then there will be multiple copies of the same job added in the database. 
    // So I put this section in a lock to prevent that. 
    saveJobsToDatabase(uniqueJobName, consumerSetID); 

    if(!jobLookup.ContainsKey(newconsumerSetID)) 
    { 
     jobLookup.Add(newconsumerSetID, new HashSet<string>(uniqueJobNames)); 
    } 
    else 
    { 
     jobLookup[newconsumerSetID] = new HashSet<string>(jobLookup[newconsumerSetID].Concat(uniqueJobNames))); 
    } 
}