円柱ファイルから/に円柱テンソルを読み書きする

Question

pyarrow.Tensor（例えば、numpy.ndarrayから作成）を寄木張りファイルに書くにはどうすればよいでしょうか？ pyarrow.Tableとpandas.DataFrameを経由せずにも可能ですか？

Answer 1

Parquetのデータモデルは表形式なので、テンソル/ ndarrayのどこかを表形式に変換する必要があります。これを支援する便利な組み込み関数はありませんが、問題追跡ツールで特定の機能リクエストを自由に作成してください。https://issues.apache.org/jira/projects/ARROW

Answer 2

パレットフォーマットは、ネストされたデータを持つテーブルに最適化されています。名前付き列として表されます。これは、n次元の列のアイデアとは対照的です。テンソルの場合は、別の形式を選択することをお勧めします。