ループ内の大きなファイルを別のファイルの入力として処理する方法

Question

大きなファイルに1M行以上の文字列があり、大きなファイルに一致する行を取得するのに必要な入力文字列を持つファイルがあります。 。

私はそれをこのように行うことができました：

File.open(strings_file, 'r') do |l| 
    File.open(large_file, 'r') do |line| 
    next if !line.include?(l) 
    puts line 
    end 
end 

をしかし、それは各ループの大きなファイルを開きます。たとえば、input-stringには100行の文字列があるので、実行するとその大きなファイルを100回開いて処理するので、完了に時間がかかります。

大きなファイルを100回開くのを避ける方法がありますか？

Answer 1

まず、あなたがこれを間違えた場合、幾何学的スケーリングの問題が発生します。入力ファイルAにN行、B行にM行がある場合、オーバーラップをチェックするにはN * Mテストを行う必要があります。それは非常に遅くなる可能性があります。代わりに

、入力ラインに引くとクイック検索に使用できるものでそれらを固執：

require 'set' 
match_lines = Set.new(File.readlines(strings_file).map(&:chomp)) 

次に、あなたはここで非常に迅速にテストすることができます。

File.foreach(large_file) do |line| 
    print line if (match_lines.include?(line.chomp)) 
end 

を私はchompを使用していますマッチファイルの最後の行に最後に改行がない場合、または一方でCRLFエンコーディングを使用し、もう一方でLFを使用している場合は、マッチしないようにします。