CSVチャンクまたはオフライン

Question

私のような塊からDFを生成したい：コンピュータのRAMが唯一の3ギガバイトで、CSVファイルは以下のように3ギガバイト以上のものですが

chunksize = 1 
df_list = [] 
for chunk in pd.read_csv(filename, chunksize=chunksize): 
    df_list.append(chunk) 
data_raw = pd.concat(df_list) 

：

a b c  d  e  f  g  h i j ...  \ 
0 2 2 0 8.17680 4.76726 25.6957 1.13633 0 3 4.8 ...  
1 3 0 0 8.22718 2.35340 15.2934 1.13633 0 3 4.8 ... 

Xをトレーニングするためのデータを分離するためにチャンクでdfを生成したいのですが、Xをトレーニングする "ae"やその後にyをテストする "gh"などいくつかのフィールドでyをテストします。 seperate関数の入力タイプはdfです。 チャンクやcsvオフラインからdfを生成するいくつかの具体的な例を教えてください。

Answer 1

pandas.read_csv（documentation）を試してみることができます。あなたが探しているのは、usecolsパラメータです。ロードする列を指定することができます。列車の場合は['a', 'b', 'c', 'd']となります。

また、chunksizeと指定すると役立ちます。詳細はこちら：https://pandas-docs.github.io/pandas-docs-travis/io.html#iterating-through-files-chunk-by-chunk