RubyのI/Oパフォーマンス - charによるファイルcharの読み取り

Question

短いバージョン： Rubyを使用して高性能を維持しながらSTDIN（またはファイル）charからcharを読み取る方法は？

（問題は、おそらく特定のルビーではありませんが）ロングバージョン： 私は、パイプで連結されたテキストデータから読み取る見つけ、それに番号を収集し、いくつかの処理を行う必要があります小さなユーティリティを設計していますルビーを学びながら。

cat huge_text_file.txt | program.rb 

input > 123123sdas234sdsd5a ... 
output > 123123, 234, 5, ... 

私はについての私の懸念を持っていたのに（テキスト入力は、巨大な（ギガバイト）であるかもしれないし、それが改行や空白文字が含まれていない可能性があります（任意の数字以外の文字が区切りである）ので、私は読んcharで文字を行いましたパフォーマンス）、それはこのようにすることは信じられないほど遅いことがわかります。

900KBの入力ファイルでcharをcharで読み込むだけで約7秒かかります！

while c = STDIN.read(1) 
end 

改行でデータを入力して1行ずつ読み込むと、同じファイルが100倍高速に読み込まれます。

while s = STDIN.gets 
end 

それはSTDIN.read(1)でパイプから読み取りが任意のバッファリングと、読み取りが起こるたびに関与しないように、ハードドライブがヒットしたようだ - しかし、それはOSによってキャッシュされるべきではないのですか？

STDIN.gets charが '\n'になるまで内部的にcharを読み込みませんか？

Cを使用すると、バッファウィンドウで分割された数値を処理する必要がありますが、Ruby用の洗練されたソリューションのようには見えません。では、これを行う正しい方法は何ですか？ Pythonで同じファイルを読み込む

P.Sタイミングは：

for line in f: 
    line 
f.close() 

時間を実行すると、0.01秒です。

c = f.read(1) 
while c: 
    c = f.read(1) 
f.close() 

実行時間は0.17秒です。

ありがとうございます！

Answer 1

このスクリプトは、単語単位でIOオブジェクトを読み取り、1000語が見つかるたびに、またはファイルの終わりに達するたびにブロックを実行します。

同時に1000ワードを超えるメモリが保持されません。セパレータとして" "を使用すると、「単語」に改行が含まれる可能性があることに注意してください。

このスクリプトは、ファイル全体の内容上の任意の操作を行うことを避けるために、lazy（言葉のEnumeratorを取得するには、この場合は空白）とeach_sliceがBATCH_SIZE単語の配列を取得するためのセパレータを指定するIO#eachを使用しています。代わりに猫と|を使用しての

batch_size = 1000 

STDIN.each(" ").lazy.each_slice(batch_size) do |batch| 
    # batch is an Array of batch_size words 
end 

、あなたはまた、ファイルを直接読み込むことができます：このコードで

batch_size = 1000 

File.open('huge_text_file.txt').each(" ").lazy.each_slice(batch_size) do |batch| 
    # batch is an Array of batch_size words 
end 

を、何の数は分割されず、何のロジックが必要とされていない、それはよりもはるかに高速でなければなりませんファイルcharをcharで読み込み、ファイル全体を文字列に読み込むよりもはるかに少ないメモリを使用します。