毎回Pythonファイルを開いたり閉じたりしています。処理が完了するまで開いたままにしておきます。

Question

私は約50GBのテキストファイルを持っており、最初の数文字をチェックしています。

たとえば、 私の入力が含まれています

cow_ilovecow 
dog_whreismydog 
cat_thatcatshouldgotoreddit 
dog_gotitfromshelter 
............... 

だから、私は牛、犬と猫でそれらを処理したい（約200）カテゴリ ので、

if writeflag==1: 
    writefile1=open(writefile,"a") #writefile is somedir/dog.txt.... 
    writefile1.write(remline+"\n") 
    #writefile1.close() 

ので、最善の方法は、私は、何をすべきです閉じる？そうでなければ、私はそれを開いたままにして、writefile1=open(writefile,"a")は正しいことですか？

Answer 1

あなたは間違いなくオープン/クローズがはるかに高価

は考えてみているファイル、/

できるだけ少ないとしてファイルを閉じる開くしようとする必要があります2つのコード・ブロック：

f=open('test1.txt', 'w') 
for i in range(1000): 
    f.write('\n') 
f.close() 

と

for i in range(1000): 
    f=open('test2.txt', 'a') 
    f.write('\n') 
    f.close() 

秒1は、おかげで、私は常にオープンファイルがメモリにファイル全体をロードするのに0.309s

Answer 2

全体を開いてください！それ以外の場合は、書き込みが完了したことをシステムに伝え、バッファリングする代わりにディスクにフラッシュすることを決定する可能性があります。明らかな理由のために、nディスク書き込みは、ディスク書き込みよりもはるかに高価です。

ファイルに追加して上書きしない場合は、aが正しいモードです。

Answer 3

、それはあなたのために開いているファイルをおこうとあなたがwithブロックの外出一度ファイルを閉じますので、withブロック内のすべての操作を行い、それが自動的にファイルを閉じ、withステートメントを使用します。

with open(inputfile)as f1, open('dog.txt','a') as f2,open('cat.txt') as f3: 
    #do something here 

EDIT： あなたはより良いオプションがあるあなたのコードのコンパイルは、その後withを使用する前に、可能なすべてのファイル名を使用すると、あなたがない場合は、代わりのあなたのアプローチを使用することがわかっている場合ファイルを閉じることができますflushファイルにデータを使用してwritefile1.flush()

Answer 4

IO操作が多すぎる時間を消費します。ファイルを開いて閉じます。

両方のファイル（入力と出力）を開くと、はるかに高速です。テキスト処理用に10MBのサイズのメモリバッファを使用して、これを出力ファイルに書き込みます。たとえば、次のようにしても読み出し/書き込みファイルと比較するので

file = {} # just initializing dicts 
filename = {} 
with open(file) as f: 
    file['dog'] = None 
    buffer = '' 
    ... 
    #maybe there is a loop here 
    if writeflag: 
     if file['dog'] == None: 
      file['dog'] = open(filename['dog'], 'a') 
     buffer += remline + '\n' 
    if len(buffer) > 1024*1000*10: # 10MB of text 
     files['dog'].write(buffer) 
     buffer = '' 

for v in files.values(): 
    v.close()