ApacheでオーロラからS3にデータを移行する最も簡単な方法ORCまたはApache Parquet

Question

アテナは素敵です。

これを使用するには、私たちの規模をより安く、より効果的にする必要があります。これは、データをORCまたはパーケット形式で保存することを意味します。

オーロラデータベース全体をS3に移行し、それらの形式に変換する最も簡単な方法は何ですか？

DMSとデータパイプラインがありますマイナス変換ステップは...

Answer 1

変換ステップは、ここで、パイソンで行うことができます取得するように見えるのサンプルです：https://github.com/awslabs/aws-big-data-blog/tree/master/aws-blog-spark-parquet-conversion

はこの記事を参照してください。http://docs.aws.amazon.com/athena/latest/ug/partitions.html

私は最初にs3でデータを作成し、上記のPythonを使用するDMSを試してみましょう。