0
5行を含むcsvファイルがあるとします。パンダを使ってCSVファイルの最後のチャンクを取得する方法は?
今、私は2
data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2)
のチャンクを使用してこのファイルを反復処理するには、私は、このデータチャンクにいくつかの魔法を行うと、別のcsvファイルにそれを追加していたとします。
processed_data.to_csv(fname, index=None, mode="a")
問題:は、最後の行が書かれていません。
この問題の解決方法はわかりません。助けてもらえますか?
RAMが足りないため、チャンクを使用する必要があります。
ファイルの開閉に時間がかかりすぎるため、chunksize=1
は使用できません。
あなたの「魔法」の間にどこかに問題がなければなりません。このメソッドを使用すると、すべての行を繰り返し処理できます。おそらく、データをprocessed_dataに移動する方法の例を示すために、答えを更新する必要があります。 – AlexG