Python：ログファイルを処理する200GB

Question

私はログファイルを持っています。サイズは200Gbです。 これを実行する方法を見つけようとしますが、わかりません。 私はこのファイルを分割することは役に立たないと思いますが、おそらくそれを行う方法があります。 おそらくMapreduceまたはHadoopとすることができますか？私はこのアプリでは動作しませんが、誰かがこのタスクを持っていて、その解決策を助けることができます。チャンクで読みラムに収まらないファイルについては、

Answer 1

：

chunksize = 10 ** 6 
for chunk in pd.read_csv(filename, chunksize=chunksize): 
    process(chunk) 

SQLクエリからのもう一つの例：

df_list = [] 
for chunk in pd.read_sql_query(sql , conn, chunksize=10): 
    df_list.append(chunk) 
frames=pd.concat(df_list, ignore_index=True)