Amazon AWS Athena S3およびGlacier Mixed Bucket

Question

Amazon S3S Glacierを使用したAthena Log Analysis Services

S3には1ペタバイトのデータがあります。私たちはhttps://www.pubnub.com/であり、私たちは課金目的でネットワークのS3に使用データを保存します。タブ区切りのログファイルがS3バケットに格納されています。アテナは私たちにHIVE_CURSOR_ERRORの失敗を与えています。

私たちのS3バケットは、6ヶ月後自動的にAWS Glacierにプッシュするように設定されています。私たちのバケツには、氷河のバックアップファイルに加えて、熱く読み込めるS3ファイルがあります。このためAthenaからのアクセスエラーが発生しています。エラーで参照されるファイルはGlacierバックアップです。

私の推測は、答えは次のようなものです：同じバケツに氷河のバックアップを保たないでください。データボリュームのサイズのため、このオプションは簡単にはありません。私はAthenaがこの設定では動作しないと思っており、我々はログ分析にAthenaを使用することができません。

しかし、もし私たちがアテナを使う方法があれば、私たちは興奮しています。 HIVE_CURSOR_ERRORへの解決策があり、氷河のファイルをスキップする方法はありますか？私たちのs3バケットは平らなバケツフォルダなしでです。

上記および下記のスクリーンショットに示すS3ファイルオブジェクト名がスクリーンから省略されています。 HIVE_CURSOR_ERRORのファイル参照は、実際にはGlacierオブジェクトです。あなたはS3 Bucketのこのスクリーンショットでそれを見ることができます。

注私はhttps://forums.aws.amazon.com/に投稿しようとしたが、それは何ブエノませんでした。

Answer 1

アテナGLACIERストレージクラスをサポートしていないことを、具体的documentation from AWS 5月16日付けの2017の状態：

アテナLOCATION 句で指定されたバケット内の異なるストレージクラスをサポートしていません、 GLACIERストレージクラスをサポートしておらず、リクエスタペイ バケットをサポートしていません。詳細については、Amazon Simple Storage Service Developer GuideのStorage Classes,Changing the Storage Class of an Object in |S3|およびRequester Pays Bucketsを参照してください。

これにも興味があります。あなたがそれを働かせるなら、私たちにどのように教えてください。 :-)