2017-10-26 14 views
0

私はAWSクラウドスタックの一部を探っています。 11000行のExcelファイルがあり、DynamoDBにアップロードしようとしたときに、スループットエラーが発生しました(巨大なボリュームのためかもしれません)。csvで膨大なデータをクエリ

ここで、このデータをs3バケットまたは他のフォームに格納して照会したいとします。通常は私のアプローチは(データが最大200行の場合)、データをdynamodbにアップロードする - > apigatewayエンドポイントを作成する - >必要なパラメータでエンドポイントをトリガーする。

しかし、データが実際に膨大なので、私はこれをどうやって行うのか分かりません。

DynamoDBの最良の代替手段が何かを教えてもらえますか、それともDynamoDB自体に固執するのが良いか教えてください。

おかげ

+2

DynamoDBにプログラムでデータをアップロードするためにaws sdkを使用していますか?そうであれば、スロットルを使用してDynamoDBにデータを挿入する速度を遅くすることができます(たとえば、10回の挿入操作が数秒間スリープ/ウェイトした後など)、スループットエラーを防ぐことができます。短時間でより多くのデータをアップロードできるようにするには、書き込み容量単位を増やす必要があります(Webコンソールでは、テーブル>>容量タブ>>を選択して、必要に応じて容量単位の読み書きを変更します)。 DynamoDBに格納されているデータをどうすればいいか分かりません。 –

+0

なぜDynamoDBを使用しますか? 「このデータを照会する」とはどういう意味ですか?あなたはただSQLクエリを実行したいのですか、それともLambda経由で使用したいのですか?質問を編集して詳細を追加してください。 –

+1

これらの行が非常に広い場合を除き、実際にはこれほど多くのデータではありません。 11k行は小さいです。 MySQLにプッシュするか、S3/Athenaのルートに行きます。 – jarmod

答えて

1

良いオプションは次のとおりです。

  • 保存CSV形式でS3のデータ(スペースを節約するためにそれを圧縮して自由に感じる)
  • 使用Amazon Athenaは、S3のうち、それを直接照会します
関連する問題