HDF5ファイルをParquetファイルに変換するにはどうすればよいですか？

Question

私はpandas.HDFStore()のパンダでHDF5に約800 GBの巨大なデータフレームを保存しました。

import pandas as pd 
store = pd.HDFStore('store.h5') 
df = pd.Dataframe() # imagine the data being munged into a dataframe 
store['df'] = df 

私はこれをImpalaでクエリしたいと思います。このデータをParquetに解析する簡単な方法はありますか？あるいは、ImpalaはあなたがHDF5で直接作業できるようにしていますか？ HDF5のデータには別のオプションがありますか？

Answer 1

私はこれを試していませんが、Spark：https://gist.github.com/jiffyclub/905bf5e8bf17ec59ab8fを使用してHDFStoreをParquetに変換する方法を示すリンクがあります。