バッチでピクルファイルに追加する方法

Question

このように大きなデータセットのファイルを作成し、それらをピクルファイルに入れるプログラムを作成しましたが、2GBのRAMしかないので、ファイル全体をどのように私は

おかげ

Answer 1

は実際に私にはない、それを行うことができ、「リピートスタッフデータ配列内の、ピクルスファイルに追加、配列をクリアし、」そうか、私は複数のバッチ上のアレイを追加することができ、アレイpickleファイルにデータを追加することは可能であると考えてください。そうであれば、pickleファイルを読み込もうとするときにメモリの問題に遭遇します。

ピクルファイルは大容量のデータ保存用に設計されていないため、別のファイル形式に切り替える価値があります。

大量の数値データ用に特に最適化されたhdf5のようなcsv、json、...またはバイナリ形式などのテキストベースの形式にすることができます。