大きなテキストファイル（数GB）を読むPythonの最速の方法

Question

私は大きなテキストファイル（〜7 GB）を持っています。大きなテキストファイルを読むための最速の方法が存在するかどうかを探しています。私はプロセスをスピードアップするためにチャンクごとに読んでいくつかのアプローチを使用することについて読んできました。例えばeffbotで

毎秒テキストの96900行を処理するために

# File: readline-example-3.py 

file = open("sample.txt") 

while 1: 
    lines = file.readlines(100000) 
    if not lines: 
     break 
    for line in lines: 
     pass # do something**strong text** 

を示唆しています。 その他authorsが

from itertools import islice 

with open(...) as f: 
    while True: 
     next_n_lines = list(islice(f, n)) 
     if not next_n_lines: 
      break 
     # process next_n_lines 

list(islice(f, n))）（isliceを使用することをお勧めは、ファイルf次のn行のリストを返します。ループ内でこれを使用して、あなたにnライン

Answer 1

with open(<FILE>) as FileObj: 
    for lines in FileObj: 
     print lines # or do some other thing with the line... 

のチャンクでファイルメモリに一度に1行を読んで、そして終わったら、ファイルを閉じますを与えるだろう...