MD5を計算して重複ファイルリストを取得

Question

私はファイルパスを含む配列を持っていますが、そのMD5に基づいて重複しているファイルをリストにしたいと思います。私はこのような彼らのMD5を計算する：

private void calcMD5(Array files) //Array contains a path of all files 
{ 
    int i=0; 
    string[] md5_val = new string[files.Length]; 
    foreach (string file_name in files) 
    { 
     using (var md5 = MD5.Create()) 
     { 
      using (var stream = File.OpenRead(file_name)) 
      { 
       md5_val[i] = BitConverter.ToString(md5.ComputeHash(stream)).Replace("-", "").ToLower(); 
       i += 1; 
      } 
     } 
    }     
} 

I以上のことから彼らのMD5を計算することができるが、どのよう重複しているこれらのファイルのリストだけを取得します。行うには、他の方法がある場合は、同じ私に知らせて、そしてまた、私はあなたに、配列内で重複しているハッシュのリストが表示されますLINQの

Answer 1

は単一ファイルのパスとリターン MD5に取るようにあなたのcalcMD5機能を書き換え1.。
2.ファイル名は、可能であればタイプなしの配列ではなく、string[]またはList<string>に格納します。
3.同じハッシュでファイルのグループを取得するには、次のLINQを使用します。

var groupsOfFilesWithSameHash = files 
    // or files.Cast<string>() if you're stuck with an Array 
    .GroupBy(f => calcMD5(f)) 
    .Where(g => g.Count() > 1); 

4.あなたは、たとえば、ネストされたforeachループでグループに取得することができます。

foreach(var group in groupsOfFilesWithSameHash) 
{ 
    Console.WriteLine("Shared MD5: " + g.Key); 
    foreach (var file in group) 
     Console.WriteLine(" " + file); 
} 

Answer 2

var duplicates = md5_val.GroupBy(x => x).Where(x => x.Count() > 1).Select(x => x.Key); 

に新しいですしてください。

は、同様の名前の代わりに、ハッシュを取得するには：

var duplicates = md5_val.Select((x,i) => new Tuple<string, int>(x, i)) 
         .GroupBy(x => x.Item1) 
         .Where(x => x.Count() > 1) 
         .SelectMany(x => files[x.Item2].ToList()); 

Answer 3

代わりの戻りをMD5ハッシュのすべてのファイルの配列、代わりにこのように：

• lculateFileHash（）メソッドです。
• テストするファイル名の配列を作成します。

• これを行います。

  するvar dupesを= Filenames.GroupBy（FN => calculateFileHash（FN））ここで、（GR => gr.Count> 1）;

これはグループの配列を返します。各グループは、同じ内容のファイル名を含む列挙型です。

Answer 4

static void Main(string[] args) 
    { 
     // returns a list of file names, which have duplicate MD5 hashes 
     var duplicates = CalcDuplicates(new[] {"Hello.txt", "World.txt"}); 
    } 

    private static IEnumerable<string> CalcDuplicates(IEnumerable<string> fileNames) 
    { 
     return fileNames.GroupBy(CalcMd5OfFile) 
         .Where(g => g.Count() > 1) 
         // skip SelectMany() if you'd like the duplicates grouped by their hashes as group key 
         .SelectMany(g => g); 
    } 

    private static string CalcMd5OfFile(string path) 
    { 
     // I took your implementation - I don't know if there are better ones 
     using (var md5 = MD5.Create()) 
     { 
      using (var stream = File.OpenRead(path)) 
      { 
       return BitConverter.ToString(md5.ComputeHash(stream)).Replace("-", "").ToLower(); 
      } 
     } 
    } 

Answer 5

private void calcMD5(String[] filePathes) //Array contains a path of all files 
    { 
     Dictionary<String, String> hashToFilePathes = new Dictionary<String, String>(); 
     foreach (string file_name in filePathes) 
     { 
      using (var md5 = MD5.Create()) 
      { 
       using (var stream = File.OpenRead(file_name)) 
       { 
        //This will get you dictionary where key is md5hash and value is filepath 
        hashToFilePathes.Add(BitConverter.ToString(md5.ComputeHash(stream)).Replace("-", "").ToLower(), file_name); 
       } 
      } 
     } 
     // Here will be all duplicates 
     List<String> listOfDuplicates = hashToFilePathes.GroupBy(e => e.Key).Where(e => e.Count() > 1).SelectMany(e=>e).Select(e => e.Value).ToList(); 
    } 
}