条件とのpandas DataFrameにHDF5ファイルを読む

Question

私は巨大なHDF5ファイルを持っている、私はいくつかの操作を実行するために、その一部をpandas DataFrameにロードしたいが、私はいくつかの行をフィルタリングに興味があります。

私は例を挙げてよりよく説明することができます：

オリジナルHDF5ファイルのようなものになります。私が何をしようとしています何

A B C D 
1 0 34 11 
2 0 32 15 
3 1 35 22 
4 1 34 15 
5 1 31 9 
1 0 34 15 
2 1 29 11 
3 0 34 15 
4 1 12 14 
5 0 34 15 
1 0 32 13 
2 1 34 15 
etc etc etc etc 

をパンダに、それはまったく同じように、これをロードすることですデータフレームだけwhere A==1 or 3 or 4

今まで私はちょうど使用して全体のHDF5をロードすることができます。

store = pd.HDFStore('Resutls2015_10_21.h5') 
df = pd.DataFrame(store['results_table']) 

ここにwhereの条件を含める方法はありません。

Answer 1

hdf5ファイルpd.read_hdfのwhere引数を照会すべき ために（fixedフォーマットとは対照的に）table formatに書き込まれなければなりません。

さらに、Aはdeclared as a data_columnでなければなりません：

df.to_hdf('/tmp/out.h5', 'results_table', mode='w', data_columns=['A'], 
      format='table') 

または、（照会可能）データ列としてすべての列を指定するには：

df.to_hdf('/tmp/out.h5', 'results_table', mode='w', data_columns=True, 
      format='table') 

次にあなたが

pd.read_hdf('/tmp/out.h5', 'results_table', where='A in [1,3,4]') 

を使用することができます値列Aが1,3または4の行を選択します。

where='A in {}'.format(vals) 

：たとえば、

import numpy as np 
import pandas as pd 

df = pd.DataFrame({ 
    'A': [1, 2, 3, 4, 5, 1, 2, 3, 4, 5, 1, 2], 
    'B': [0, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 1], 
    'C': [34, 32, 35, 34, 31, 34, 29, 34, 12, 34, 32, 34], 
    'D': [11, 15, 22, 15, 9, 15, 11, 15, 14, 15, 13, 15]}) 

df.to_hdf('/tmp/out.h5', 'results_table', mode='w', data_columns=['A'], 
      format='table') 

print(pd.read_hdf('/tmp/out.h5', 'results_table', where='A in [1,3,4]')) 

には、値、valsの非常に長いリストを持っている場合は、あなたが正しいwhere引数を構成する文字列書式を使用することができ

A B C D 
0 1 0 34 11 
2 3 1 35 22 
3 4 1 34 15 
5 1 0 34 15 
7 3 0 34 15 
8 4 1 12 14 
10 1 0 32 13 

---

を生み出します

Answer 2

pandas.read_hdf（here）を使用して、オプションパラメータwhereを使用してこれを行うことができます。 exampleについて
：read_hdf('store_tl.h5', 'table', where = ['index>2'])