AWS S3へのAthenaの書き込み

Question

AWS Athenaでクエリを実行し、その結果をs3に書き込みます。私はラムダスクリプトからクエリを実行すると、ファイルが利用可能になるのに長い時間がかかるようです（実際は長すぎます）。

私は70MBのデータをスキャンしており、返されるファイルは12MBです。私はアテナに直接クエリを実行する場合は、実行するために2.97秒かかり

athena_client = boto3.client('athena') 
athena_client.start_query_execution(
    QueryString=query_string, 
    ResultConfiguration={ 
     'OutputLocation': 'location_on_s3', 
     'EncryptionConfiguration': 'SSE_S3', 
    } 
) 

：私はそうのようなラムダスクリプトからこれを実行します。しかし、ラムダスクリプトからこのクエリを実行すると、2分後にファイルが利用可能になっているように見えます。

誰もAWS S3のAWS Athenaの書き込みパフォーマンスを知っていますか？私はこれが正常かどうか知りたいです。ドキュメントには、書き込みがどのくらい速く起こるかが記述されていません。

Answer 1

アテナのすべてのクエリはS3に書き込みます。

コンソールのAthenaページのHistoryタブをチェックすると、実行したすべてのクエリの履歴が表示されます（コンソールだけでなく一般的に）。それぞれにはダウンロードパスへのリンクがあります。

Settingsボタンをクリックすると、出力場所を指定するダイアログが表示されます。その場所を確認すると、そこにすべてのクエリ結果が表示されます。

なぜこれはあなたのラムダスクリプトからずっと時間がかかりますか？私は推測していますが、唯一可能な提案は地域間でクエリを実行していることです。データが地域にあり、結果の場所が別の場所にある場合、転送コストのために速度が低下する可能性があります。それでも、12MBは速くなければなりません。