S3パートファイルをパンダデータフレームに読み込む方法

Question

私はredshiftからS3にデータをアンロードしました。アンロード後にxx_0000_part_00複数のファイルがあります。

今、これらのファイルをpandasデータフレームに読み込みたいと思います。

どうすればいいですか？

おかげで、 ソム

Answer 1

あなたが

AWS S3 CP

コマンドを使用して、ローカルまたはEC2にS3からファイルをインポートする必要があります。ファイルをローカルに作成したら、pandasライブラリから読み込みます。

import pandas as pd 
df = pd.read_csv('/file-path/filename') 

PS-S3パーツファイルは、選択した区切り文字を含む通常のcsvファイルです。

私が悪い仮定をした場合は、コメントしてください。

Answer 2

ジャスト（赤方偏移するパンダからデータを取得するか）あなたがパンダに赤方偏移からデータを取得したい場合は、このパッケージを使用します。

https://github.com/agawronski/pandas_redshift