SparkからDynamoDBへの書き込み

Question

私はsparkを使用してamazon s3（DataFrameまたはRDDの形式）からファイルを取得し、単純な変換を行い、そのファイルをDynamoDBのテーブルに送信しようとしています。

他のいくつかのフォーラム投稿を読んだところ、DynamoDBへの読み書きには、spoのRDDとは異なるhadoopRDDを使用する必要があり、s3を取得しているものとは異なりますファイル。

DataFrame/RDDをs3のファイルからhadoopRDDに変更してバックアップを送信する方法を教えてください。

私はスカラを使用しており、スパークシェルのすべてをテストしています。

もう一度お返事ありがとうございます。

Answer 1

EMR DynamoDB ConnectorをAmazonで実行することができます。これは、DynamoDBInputFormatと、DynamoDBとの間でデータを読み書きできるDynamoDBOutputFormatの両方を実装します。

これについてはblog postで詳しく読むことができます。