大きなバイナリファイルを読み書きするときのブロックサイズ

Question

大きなバイナリファイルを読み書きする必要があります。私はBLOCK_SIZEと呼んでいますが、好きな、あるいは最適なバイト数がありますか？read()は一度に必要ですか？

1バイトは確かに少しです。私はRAMに4GBを読み込むことは良いアイデアだとは思っていません - 「最高の」ブロックサイズですか？それともファイルシステム（私はext4上にある）に依存していますか？私は何を考慮する必要がありますか？

python's open()はさらにbuffering引数を提供します。私もそれを微調整する必要がありますか？

これは2つのファイルin-0.dataとin-1.dataをout.dataに結合するサンプルコードです（現実には、手元にある質問とは無関係の処理が増えています）。 BLOCK_SIZEはbufferingのデフォルトであるように思われio.DEFAULT_BUFFER_SIZEに等しくなるように選択される：

from pathlib import Path 
from functools import partial 

DATA_PATH = Path(__file__).parent/'../data/' 

out_path = DATA_PATH/'out.data' 
in_paths = (DATA_PATH/'in-0.data', DATA_PATH/'in-1.data') 

BLOCK_SIZE = 8192 

def process(data): 
    pass 

with out_path.open('wb') as out_file: 
    for in_path in in_paths: 
     with in_path.open('rb') as in_file: 
      for data in iter(partial(in_file.read, BLOCK_SIZE), b''): 
       process(data) 
       out_file.write(data) 
#   while True: 
#    data = in_file.read(BLOCK_SIZE) 
#    if not data: 
#     break 
#    process(data) 
#    out_file.write(data) 

Answer 1

は、OSがあなたのために決定を作ってみましょう。

https://docs.python.org/3.4/library/mmap.html

それはRAMにファイルの内容をマッピングするために使用しているOSの基本的なメモリマッピングメカニズムを使用しています：のmmapモジュールを使用してください。

32ビットPythonを使用している場合は2GBのファイルサイズに制限があるので、このルートに進むには64ビットバージョンを使用してください。例えば

：あなたは任意の読み込み（）関数を呼び出すと、RAMに持ち込むためにどのように多くのバイト数を決めなければならなかったことはありません

f1 = open('input_file', 'r+b') 
m1 = mmap.mmap(f1.fileno(), 0) 
f2 = open('out_file', 'a+b') # out_file must be >0 bytes on windows 
m2 = mmap.mmap(f2.fileno(), 0) 
m2.resize(len(m1)) 
m2[:] = m1 # copy input_file to out_file 
m2.flush() # flush results 

注意。この例では、あるファイルを別のファイルにコピーするだけですが、あなたの例で述べたように、間に必要な処理を行うことができます。ファイル全体がRAMのアドレス空間にマップされていても、そこに実際にコピーされたわけではありません。 OSの裁量で、区分的にコピーされます。