メモリを叩くことなくzipファイル内の行を高速に検索

Question

.txtを含むzipファイル内の行を検索する最速の方法は何ですか？

zipfileのサイズは約100MBで、抽出後は約700MBですので、メモリ内のテキストファイルを抽出して読み込むことはできません。

メモリ（100MB）内のzipファイルを読んで検索する可能性はありますか？

現在行っております。

with ZipFile(zip_file) as myzip: 
    with myzip.open(myzip.namelist()[0]) as myfile: 
     for line in myfile: 
      if line.startswith("interesting words"): 
       print(line) 

約15秒かかります。

Answer 1

あなたが持っているコードはZipFileです。あなたのデータの読み込みと解凍には怠惰です。 4Kbの圧縮データを一度に読み込み、メモリに展開してファイルオブジェクトを繰り返し処理するときに改行をスキャンします。これは、任意のより速く、あなたの現在のコードよりなる場合、私は見当がつかない

with ZipFile(zip_file) as myzip: 
    with myzip.open(myzip.namelist()[0]) as myfile: 
     text = myfile.read() # reads the whole file into a single string 
    for line in text.splitlines(): # you might be able to use regex on text instead of a loop 
     if line.startswith("interesting words"): 
      print(line) 

：あなたが一度にファイルのテキスト全体を読みたい場合は

は、このようなものを使用します。そうでない場合は、コードをプロファイルして、圧縮解除が（他のものではなく）減速させる部分であることを確認することができます。コードでコメントしたように、text文字列の正規表現検索を使用すると、行に分割して各行を個別に検索するよりも優れています。