hdfstore

1熱

1答えて

Multiindexを使用したPandas HDFStoreインデックスで選択値が見つからない列

大きなPandas DataframeがHDF5ファイルに保存されています。 DataframeはDatetimeとPatientIDを持つ複数のインデックスです。 store = pd.HDFStore('prepro_mon.h5',mode='r') print(store.get_storer('raw_import').levels) Out: ['Datetime', 'Pati

0熱

1答えて

HDF5ファイルをParquetファイルに変換するにはどうすればよいですか？

私はpandas.HDFStore()のパンダでHDF5に約800 GBの巨大なデータフレームを保存しました。 import pandas as pd store = pd.HDFStore('store.h5') df = pd.Dataframe() # imagine the data being munged into a dataframe store['df'] = df 私

1熱

1答えて

データフレームではないHDFStore出力

データフレームに格納された2つのテーブルを読み込みたいと思います。私は自分のコードの中にH5ファイルを読んでいる： with pd.HDFStore(directory_path) as store: self.df = store['/raw_ti4404'] self.hr_df = store['/metric_heartrate'] self.dfは、データフレー

0熱

1答えて

のpythonパンダ

私は、ディスクの中にではなく、メモリに収まる大きなデータセットを処理しようとパンダとHDFStore でのpython 2.7を使用しています。大きなサイズのデータセットを.h5ファイルに保存すると、各列のデータサイズは一定ではありません。たとえば、1つの列には5行の文字列と1行の文字列があります。別の最初の繰り返しに小さいサイズのデータが含まれ、次のバッチに大きなサイズのデータが

4熱

2答えて

なぜ、私のforループは追加するのではなく上書きされますか？

私はHDFStoreファイルに追加しようとしている複数の（25k）.csvファイルを持っています。それらはすべて同じヘッダーを共有します。私は以下のコードを使用していますが、何らかの理由でそれを実行するたびに、データフレームはすべてのファイルに付加されるのではなく、リストの最後のファイルだけになります。 filenames = [] #list of .csv file paths that I'

4熱

1答えて

HDFStore：既存のテーブルにデータを追加してから再インデックスを作成して新しいテーブルを作成するまでの効率

フラットファイルには、Python Pandas/Pytables/H5pyを使用して高速化するために、クエリと検索。私はto_hdfのようなものを使ってデータの各サブセクションを変換し、それらをHDFStoreに格納することを計画しています。保存されたデータは決して変更する必要はありませんが、データを後で特定のサブセクションに追加してから、ピース全体を再索引付けする必要があります。私の質問は

5熱

1答えて

HDFStoreをアップデートできますか？

は、私が最初に店にdfを書きたい次hdfstoreとデータフレームdfとdf2 import pandas as pd store = pd.HDFStore('test.h5') midx = pd.MultiIndex.from_product([range(2), list('XYZ')], names=list('AB')) df = pd.DataFrame(dict(C=ra

0熱

1答えて

Python 2.7で2つの異なる行形式の大きなCSVファイルをメモリ制約で解析しますか？

私はPython 2.7で読む必要があるファイルのコレクション（1〜10GBのファイルが複数のファイルに分割されているので、〜1GB程度です）があります。ファイル形式は、このようなものです： 1|KEY1|A |B |01/01/2016| | 2|KEY1| |LINEINDEX1|C |D |E | 123.000| 456.000| 789.1250|000100000.00

0熱

1答えて

Unicodeのエラー私はこのコードでpandas.HDFStore</p> <p>を使用して.h5ファイルの読み取りしようとしているのpython

に.h5ファイルからフレームを取得中：問題が起こる、 import pandas as pd store = pd.HDFStore('store.h5') をし、それが動作しますコード df1 = store['df1'] のこの行をしようとするときには、このエラーを返します。 "UnicodeDecodeError: 'ascii' codec can't decode byte

1熱

2答えて

ハイブでLOAD DATAを実行すると、データがコピーされますか？

HDFSに保存されたデータをHIVEにロードするとき、HDFSのこのデータはHIVEが使用する別のフォーマットにコピーされますか？または元のファイルを使用してデータの保存/選択/挿入/変更を行いますか？コンテキスト： LOAD DATA INPATH '/home/user/sample.txt' OVERWRITE INTO TABLE employee; HIVEは/home/user/sa