0
私はAWSクラウドスタックの一部を探っています。 11000行のExcelファイルがあり、DynamoDBにアップロードしようとしたときに、スループットエラーが発生しました(巨大なボリュームのためかもしれません)。csvで膨大なデータをクエリ
ここで、このデータをs3バケットまたは他のフォームに格納して照会したいとします。通常は私のアプローチは(データが最大200行の場合)、データをdynamodbにアップロードする - > apigatewayエンドポイントを作成する - >必要なパラメータでエンドポイントをトリガーする。
しかし、データが実際に膨大なので、私はこれをどうやって行うのか分かりません。
DynamoDBの最良の代替手段が何かを教えてもらえますか、それともDynamoDB自体に固執するのが良いか教えてください。
おかげ
DynamoDBにプログラムでデータをアップロードするためにaws sdkを使用していますか?そうであれば、スロットルを使用してDynamoDBにデータを挿入する速度を遅くすることができます(たとえば、10回の挿入操作が数秒間スリープ/ウェイトした後など)、スループットエラーを防ぐことができます。短時間でより多くのデータをアップロードできるようにするには、書き込み容量単位を増やす必要があります(Webコンソールでは、テーブル>>容量タブ>>を選択して、必要に応じて容量単位の読み書きを変更します)。 DynamoDBに格納されているデータをどうすればいいか分かりません。 –
なぜDynamoDBを使用しますか? 「このデータを照会する」とはどういう意味ですか?あなたはただSQLクエリを実行したいのですか、それともLambda経由で使用したいのですか?質問を編集して詳細を追加してください。 –
これらの行が非常に広い場合を除き、実際にはこれほど多くのデータではありません。 11k行は小さいです。 MySQLにプッシュするか、S3/Athenaのルートに行きます。 – jarmod