、私は次のコードを実行しようとしている代替

Question

が必要になります。

私は次のエラーを与える

start_time = time.time() 
csvWriter = ModalitySessions.pivot(index='session_id', columns='context_eid', values='name') 
print("--- %s seconds ---" % (time.time() - start_time)) 

：私はオンライン同様の問題を発見した

ValueError: negative dimensions are not allowed 

とそれは基本的なメモリの問題かもしれないように思えた。だから私は、データのサブセットで同じコードを実行しようとしました。それは確かに、メモリの問題です。更新されたコードは次のとおりです。

start_time = time.time() 
csvWriter = ModalitySessions.iloc[:2000000].pivot(index='session_id', columns='context_eid', values='name') 
print("--- %s seconds ---" % (time.time() - start_time)) 

これは私にMemoryErrorを与えます。

これを修正する方法はありますか？私は約3.5百万回のセッションを扱っており、ピボットは約900列を返します。

Answer 1

元のデータを小さなチャンクに分割し、それぞれのピボットの結果を別のコンテナに追加して、空にすることができます。もちろん、フラグメントを追加するこのプロセスを扱う関数が必要です。のように、あなたが構築しているコンテナテーブルの要素を繰り返し処理し、ちょうど処理されたチャンクで構成された新たにピボットされたテーブルの要素と比較し、列フィールドが一致すれば値を追加するもの。非常に効率的ではありませんが（計算時間に関して）、最初のテーブルを分割するチャンクの数に応じて、一度に小さなデータを扱うことになるので、あなたの問題を語ります。ラップアラウンドエラーのようなものです。