ファイル内で32KBを超えるゼロブロックを検出する

Question

多くのファイルにゼロブロックがあるかどうかを確認する最も早い方法は何ですか？ブロックは、32000バイトのゼロより大きくする必要があります。 次のコードは遅くすることです：

empty_blocks = [] 
min_length = 32000 
block = False 
begin = -1 
data = open(file_name,'rb').read() 
for i,byte in enumerate(data): 
     byte = ord(byte) 
     if byte == 0x00 and block == False: 
      block = True 
      begin = i 
     elif byte != 0x00 and block == True: 
      block = False 
      if length >= min_length: 
       empty_blocks.append((begin, i - begin)) 
      begin = -1 

Answer 1

をので、32768バイトのブロックサイズを想定すると、私は線に沿って何かを思い付いた：

from functools import partial 

BLOCKSIZE = 32 * 1024 

with open('testfile.bin', 'rb') as f: 
    for block_number, data in enumerate(iter(partial(f.read, BLOCKSIZE), b'')): 
     if not any(data): 
      print('Block #{0} is empty!'.format(block_number)) 

sum()を決定するための最速の方法ですシーケンス内のすべてのバイトがゼロの値を持つ場合私はそれがO(n)より速くすることは可能ではないと思います。
VPfBany()を使用することが提案されています。このシーケンスは、シーケンス全体を処理する代わりに、最初の非ゼロ要素で終了するため非常に高速です。

出力例：

Block #0 is empty! 
Block #100 is empty! 
Block #200 is empty! 

それは高速で十分な私は願って私のマシン、上およそ〜100メガバイト/秒 2ギガバイト/秒を処​​理します。ファイルmmappingによって

Answer 2

スタート：

for match in re.findall(b'\0{32768}, m): 
    print(match.start()) 

が、文字列はさらに速く、次のとおりです：正規表現を使用して

import mmap, os, re 
f = open(filename) 
m = mmap.mmap(f.fileno(), os.fstat(f.fileno()).st_size, prot=mmap.PROT_READ) 

は便利です

z32k = '\0' * 32768 
start = 0 
while True: 
    start = m.find(z32k, start) 
    if start < 0: 
     break 
    print(start) 

のみ32K-整列ブロック：

for match in re.finditer('.{32768}', m, re.DOTALL): 
    if max(match.group()) == '\0': 
     print(match.start())