hdfstore

1熱

1答えて

私は2つのスクリプトを書いています。最初のスクリプトは、一度だけ実行するように設計され、作成されたスクリプト内で次のコードを使用してHDF5ファイルに保存されdf_empty、storage.h5という名前の大きな空のデータフレーム： from pandas import HDFStore hdf = HDFStore('storage.h5') hdf.put('d1', df_empty

12熱

1答えて

Pandas HDFStoreにどのように大量のデータを追加し、自然なユニークなインデックスを得るには？

統計処理用に大量のhttpログ（80GB +）をPandas HDFStoreにインポートしています。単一のインポートファイル内であっても、ロードするときにコンテンツをバッチする必要があります。これまでの私のやり方は、解析された行をDataFrameに読み込んだ後、DataFrameをHDFStoreに保存することでした。私の目標は、データストア内の単一のキーに対してインデックスキーをユニークにす

1熱

1答えて

HDF5：既存のHDF5テーブルの列名を変更する方法はありますか？

Pandasを使用してインデックスの付いた大きなHDF5テーブルを作成しました。私は私のテーブルの12の列のうち2つの列の名前を変更したいと思います。私はテーブルを再構築/再インデックス化したくないです。すべてのデータ（140GB）をコピーせずにこれを行うことはできますか？私は、ファイルに右のコマンドで簡単にスワップアウトできるメタデータがほんの少しだけあることを期待しています。私はいくつかの

1熱

1答えて

ImportError：HDFStoreにはPyTablesが必要です。「モジュール名付きテーブルはありません」

ここからインストールのガイドラインに従いました。 http://www.pytables.org/usersguide/installation.html 私はこのコマンドをPyTables/build/lib.linux-x86_64-2.7フォルダからiPythonで実行すると、正常に動作します。 In [2]: store = pd.HDFStore('store.h5') In [1]:

6熱

1答えて

私は一度に全体データセットで読むかのようDTYPEと他のメタ情報を保持どのように私は、ファイルを介して繰り返しチャンクにpd.read_csv（）を使用することができますし、繰り返しチャンクサイズ

を使用して推論されたデータフレームの種類を取得しますか？メモリに収まらないほど大きすぎるデータセットを読み込む必要があります。私はpd.read_csvを使用してファイルをインポートし、直ちにそのチャンクをHDFStoreに追加したいと思います。しかし、データ型推論では、後続のチャンクについては何も知らない。テーブルに格納されている最初のチャンクがintのみを含み、後続のチャンクがfloatを

2熱

1答えて

HDFStoreグループに複数のオブジェクトを保存する

複数のオブジェクトをHDFStoreに保存したいが、グループ化して整理したい。線に沿って何か： import pandas as pd my_store = pd.HDFStore('my_local_store.h5') my_store._handle.createGroup('/', 'data_source_1') # this works, but I'm not sure what

1熱

1答えて

複数のパンダデータフレームを1つのキー/グループのHDF5オブジェクトに結合するにはどうすればよいですか？

私は、サイズが大きい800 csvのデータを解析しています。データの各行について、これをpandasデータフレームとして保存します。 readcsvfile = csv.reader(csvfile) for i, line in readcsvfile: # parse create dictionary of key:value pairs by csv field:value,

5熱

2答えて

MultiIndex DataFramesのPandas HDFStore：効率的にすべてのインデックスを取得する方法

パンダでは、HDFStoreに存在するすべてのMultiIndexインデックスをテーブル形式で効率的に取り出す方法はありますか？私はwhere=を効率的に使用してselect()を使用できますが、すべてのインデックスとカラムは不要です。私もselect()iterator=Trueを使用してRAMを節約することができますが、それでもディスクからすべてのテーブルを読み込むことを意味するので、まだ遅

2熱

2答えて

Pandas DataFrameをHDFS PyTablesテーブル（またはCArray、EArrayなど）としてどのように格納しますか？

私は、次のパンダのデータフレームがあります。今 import pandas as pd df = pd.read_csv(filename.csv) を、私は（Pythonの辞書にキーと値のペアを追加するように）ファイルにdfオブジェクトを書き込むためにHDFStoreを使用することができます。 store = HDFStore('store.h5') store['df'] = df