ディレクトリ内のすべてのファイルを1つのファイルに連結するpythonスクリプト

Question

ディレクトリ内のすべてのファイルを1つのファイルに連結するためのスクリプトを作成しました。

これは

1. 慣用のpythonの面でここ

時間がスニペットで、最適化することができます：

import time, glob 

outfilename = 'all_' + str((int(time.time()))) + ".txt" 

filenames = glob.glob('*.txt') 

with open(outfilename, 'wb') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      infile = readfile.read() 
      for line in infile: 
       outfile.write(line) 
      outfile.write("\n\n") 

Answer 1

使用shutil.copyfileobj：メモリに全部を読まずに直接ファイルオブジェクトのINES、

import shutil 

with open(outfilename, 'wb') as outfile: 
    for filename in glob.glob('*.txt'): 
     if filename == outfilename: 
      # don't want to copy the output into the output 
      continue 
     with open(filename, 'rb') as readfile: 
      shutil.copyfileobj(readfile, outfile) 

shutilがoutfileのFileObjectに書き込む、チャンクでreadfileオブジェクトから読み込みます直接。行末を見つけるためのオーバーヘッドを必要としないので、readline()または反復バッファを使用しないでください。

読み取りと書き込みの両方に同じモードを使用します。これはPython 3を使用する場合に特に重要です。ここではバイナリモードを使用しました。

Answer 2

あなたが反復処理することができます私はデータをコピーする

with open(fname, 'r') as readfile: 
    for line in readfile: 
     outfile.write(line) 

Answer 3

多くの変数を使用する必要はありません。

with open(outfilename, 'w') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      outfile.write(readfile.read() + "\n\n") 

Answer 4

fileinputモジュールは、複数のファイルのPython 2.7を使用して

for line in fileinput.input(glob.glob("*.txt")): 
    outfile.write(line) 

Answer 5

を反復処理する自然な方法を提供し、私は

shutil.copyfileobj(readfile, outfile) 

対

outfile.write(infile.read()) 

のいくつかの "ベンチマーク" のテストを行いました

私はサイズが63MBから313MBまでの20の.txtファイルを、2.6GBまでのジョイントファイルサイズで繰り返しました。どちらの方法でも、通常の読み取りモードはバイナリ読み取りモードよりも優れており、shutil.copyfileobjはoutfile.writeよりも一般的に高速でした。

最高の組み合わせと、最悪の組み合わせ（outfile.write、バイナリモード）（shutil.copyfileobj、通常の読み出しモード）を比較すると、差は非常に有意であった

：

outfile.write, binary mode: 43 seconds, on average. 

shutil.copyfileobj, normal mode: 27 seconds, on average. 

がOUTFILEが最終的な大きさを持っていました通常の読み取りモードでは2620 MB、バイナリ読み取りモードでは2578 MBです。