パンダを使用してSeriesでDataFrameを作成すると、メモリエラーが発生する

Question

私はPandasライブラリを使用してリモートセンシング時系列解析を行っています。最終的には、チャンクサイズを使用してDataFrameをcsvに保存したいのですが、少し問題があります。私のコードは、私がPandas Seriesに変換する6個のNumPy配列を生成します。これらのシリーズのそれぞれは、私はパンダDataFram（DF）にシリーズを追加したい項目

>>> prcpSeries.shape 
(12626172,) 

の多くが含まれているので、私は、CSVファイルにチャンクによって彼らにチャンクを保存することができます。

d = {'prcp': pd.Series(prcpSeries), 
    'tmax': pd.Series(tmaxSeries), 
    'tmin': pd.Series(tminSeries), 
    'ndvi': pd.Series(ndviSeries), 
    'lstm': pd.Series(lstmSeries), 
    'evtm': pd.Series(evtmSeries)} 

df = pd.DataFrame(d) 
outFile ='F:/data/output/run1/_'+str(i)+'.out' 
df.to_csv(outFile, header = False, chunksize = 1000) 
d = None 
df = None 

しかし、私のコードは、メモリエラー

df = pd.DataFrame(d) 

任意の提案を与え、次の行で動けなくなりますか？チャンスでパンダのDataFrameチャンクを埋めることは可能ですか？

Answer 1

あなたが知っている場合、これらのそれぞれが同じ長さ、あなたは、アレイから直接データフレームを作成し、各列を追加することができます：

df = pd.DataFrame(prcpSeries, columns=['prcp']) 
df['tmax'] = tmaxSeries 
... 

---

注：あなたも（to_frameメソッドを使用することができますこれはあなたが（オプション）名を渡すことができます - シリーズは1を持っていない場合に便利です）：

df = prcpSeries.to_frame(name='prcp') 

---

しかし、それらが可変長である場合、これはいくつかのデータを失います（prcpSeriesより長い配列）。例えば

df1 = pd.DataFrame(prcpSeries, columns=['prcp']) 
df2 = pd.DataFrame(tmaxSeries, columns=['tmax']) 
... 

df = pd.concat([df1, df2, ...], join='outer', axis=1) 

：pd.DataFrane：

In [21]: dfA = pd.DataFrame([1,2], columns=['A']) 

In [22]: dfB = pd.DataFrame([1], columns=['B']) 

In [23]: pd.concat([dfA, dfB], join='outer', axis=1) 
Out[23]: 
    A B 
0 1 1 
1 2 NaN