予期せぬパフォーマンスの低下

Question

何らかの理由で1行しかない巨大な（250 MB）テキストファイルを解析しなければならないため、試したすべてのテキストエディタ（Notepad ++、Visual Studio、Matlab）がロードに失敗します。したがって、私はそれを1枚ずつ読んで、そして（#で始まる）論​​理行が完全に読まれるたびにそれを解析：

f = open(filename, "rt") 

line = "" 
buffer = "blub" 
while buffer != "": 
    buffer = f.read(10000) 
    i = buffer.find('#') 
    if i != -1: # end of line found 
     line += buffer[:i] 
     ProcessLine(line) 
     line = buffer[i+1:] # skip the '#' 
    else: # still reading current line 
     line += buffer 

これは合理的にうまく機能、しかし、ラインが私のバッファよりも短いこと、起こるかもしれませんこれは私にラインをスキップさせるでしょう。だから私はループをループに置き換えました。

while buffer != "": 
    buffer = f.read(10000) 
    i = buffer.find('#') 
    while i != -1: 
     pixels += 1 
     line += buffer[:i] 
     buffer = buffer[i+1:] 
     ProcessLine(line) 
     i = buffer.find('#') 
    line += buffer 

これはやっています。しかし、これは少なくとも100倍遅く、大きなファイルを読むのに無用です。私は実際には見えません、どうしてこのようなことが起こるか、私は内部のループを持っていますが、ほとんどの場合、それは一度だけ繰り返されます。また、私はおそらく、パフォーマンスが半減したらどういうわけか理解できたバッファー（buffer = buffer[i+1:]）をコピーしていますが、これがどのようにして100倍遅くなるかわかりません。

注：私の（論理）行は約27.000バイトです。したがって、私のバッファが10.000バイトであれば、最初の実装で行をスキップすることは決してありません。しかし、これはパフォーマンスに影響を与えないように見えますが、第2実装の内部ループが最大で1回評価されても、パフォーマンスはまだひどいです。

私は見逃しているボンネットの下で何が起こっていますか？

Answer 1

私はあなたが何をしたいのかを正しく理解している場合、あなたのコードの両方のバージョンが間違っているよりも。 @ Leonのように、第二版ではProcessLine(line)の後にline = ""がなくなっていて、最初の行だけが正解であり、行がバッファより短いと悲しいように、line += buffer[:i]にバッファの最初の部分を使用しますこの行にline = buffer[i+1:]と入力して、lineの文字数が1000文字、bufferの文字数が10000文字の場合は、line += buffer[:i]を使用すると、1行に9000文字が含まれている可能性があります。読書から：

は、「これは合理的にうまく機能、しかし、私がラインをスキップする原因と思われる、ライ​​ンが私のバッファよりも短いこと、起こるかもしれない」

私はあなたがいることが、その理由を実現したと思います私は詳細に書いています、それはあなたの最初のバージョンがより速く働く理由です。

f = open('textfile.txt', "rt") 
buffer = f.read() 
f.close() 
l = buffer.split('#') 

とあなたは同じようなものを使用することができますより：

ので、あなたのコードは次のようになり、私は最高の穴ファイルと行を取得するには、その後、分割テキストを読むことであろうと思う、と説明した後

for line in l: 
    ProcessLine(line) 

リストを取得するにはl 2秒以下でした。

PS：メモ帳で大きなファイル（250MBなど）を開く際に問題はありません。500MBのファイルも開いていました。

Answer 2

2番目のバージョンでは動作速度が遅いだけでなく、正しく動作しません。

最初のバージョンではlineを割り当て（line = buffer[i+1:]）にリセットしましたが、2番目のバージョンではlineにのみ追加します。その結果、2番目のバージョンでは、最後にlineには、ファイルの内容全体が#シンボル以下含まれています。

はすぐにそれを処理した後lineをクリアすることで、コードを修正：

while buffer != "": 
    buffer = f.read(10000) 
    i = buffer.find('#') 
    while i != -1: 
     pixels += 1 
     line += buffer[:i] 
     buffer = buffer[i+1:] 
     ProcessLine(line) 
     line = ""    # sic! 
     i = buffer.find('#') 
    line += buffer