Py-tablesとBlazeとS-Frameの比較

Question

私は巨大なデータセット（〜2000万レコードと10個の列）でPythonを使用した探索的なデータ分析に取り組んでいます。私はセグメント化し、データを集約し、いくつかの視覚化を作成するだろう、私はそのデータセットを使用していくつかの決定木線の回帰モデルを作成するかもしれない。

大量のデータセットがあるため、コアデータを格納できないデータフレームを使用する必要があります。私はPythonには比較的新しく、大きなデータセットで作業しているので、自分のデータセットにsklearnを簡単に使用できる方法を使いたいと思っています。私はPy-tables、Blaze、またはS-Frameを使って天気を混同しています。誰かが私の賛否両論を理解するのを助けることができたら。このような意思決定において重要な要素は何か、それは非常に高く評価されます。

Answer 1

良い質問！あなたが考えることができる1つのオプションは、aformentionedライブラリのいずれかを使用しないことですが、代わりによりチャンクチャンクファイルの読み込みと処理し、このような何か：

csv="""\path\to\file.csv"""

パンダ（大）からデータを読み取ることができますファイルチャンク単位でファイルイテレータ経由：

it = pd.read_csv(csv, iterator=True, chunksize=20000000/10)

for i, chunk in enumerate(it): ...