pyarrow

1熱

2答えて

pyarrow.Tensor（例えば、numpy.ndarrayから作成）を寄木張りファイルに書くにはどうすればよいでしょうか？ pyarrow.Tableとpandas.DataFrameを経由せずにも可能ですか？

1熱

2答えて

arrow_table = pa.Table.from_pandas（df）... PythonオブジェクトをString/UTF8に変換中にエラーが発生しました

pandasのread_csv（完全にパンダタイプの推論に依存します）で.csvを読み込む簡単なコードを書きました。 arrow_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8 この問題のトラブルシューティングを行うためにインターネット上で役立つものは見つかりませんでした

0熱

1答えて

インデックスが冗長な列を持つパーケットファイルをロードするときのpyarrowの問題

計算を行うためにpandas/daskを使用しています。ディスク上のパーケットファイルにデータを格納しています。問題は、「時間」という列と時間というインデックスがあることです。私は両方を保ちたい。私は、データを保存し、後でそれをロードすると、私は次のエラーを取得： import pyarrow as pa import pyarrow.parquet as pq %matplotlib inl

0熱

1答えて

Pyarrowのfrom_pandasは、データフレームが<em>pyarrow 0.6.0</em>（または不良）を使用して混合dtypesに

が含まれている場合、次のスニペットは、クラッシュにPythonインタプリタの原因となるインタプリタをクラッシュ： data = pd.DataFrame({'a': [1, True]}) pa.Table.from_pandas(data) は、「Pythonインタプリタは動作を停止しました「（窓の下）

1熱

1答えて

pyarrowで区切られた寄木細工のデータセットから特定の区画を読み取る

私は、寄木細工の形式でやや大きな（約20 GB）パーティションデータセットを持っています。 pyarrowを使用して、データセットから特定のパーティションを読みたいと思います。私はpyarrow.parquet.ParquetDatasetでこれを達成できると思ったが、それはそうではないようだ。ここに、私が欲しいものを説明するための小さな例があります。ランダムデータセットを作成するには：私は、パ