スピードアップパンダのcsv読み込み、その後の意気消沈

Question

わかりやすい質問を - 私は次のことをやっている：データフレームの

train_set = pd.read_csv('./input/train_1.csv').fillna(0) 
for col in train_set.columns[1:]: 
    train_set[col] = pd.to_numeric(train_set[col],downcast='integer') 

最初の列は文字列です - 残りはint型です。 Read_csvは私が必要としない浮動小数点数を与えます。ダウンサンプリングの結果、RAM使用量はほぼ50％削減されますが、処理速度が大幅に低下します。私はすべてのことを1つのステップで行うことはできますか？それとも誰かがこれをマルチスレッド化する方法を知っていますか？
THX

Answer 1

私はあなたがこれらの二つの機能を試してみて、再びパフォーマンスを見ることをお勧め：あなたがファイルを読み込むときに、ファイル

を読んだ後

# or uint8/int16/int64 depends on your data 
pd.read_csv('input.txt', sep=' ', dtype=np.int32) 

# or you can use converters with lambda function 
pd.read_csv('test.csv', sep=' ', converters={'1':lambda x : int(x)}) 

があなたのデータフレームに変換

1. 変換を

   df['MyColumnName'] = df['MyColumnName'].astype(int)