amazon-athena

0熱

1答えて

Cognitoグループを使用してAthenaの行/列レベルのアクセスを管理できますか？

AWS Cognito Groupsは、ユーザーグループと権限を作成するための非常に強力な手段を提供します。私はAthena、Auroraなどの行/列レベルでユーザーデータアクセスを管理する必要があります。 Cognitoを使用してユーザーデータアクセスを管理する方法はありますか？ ApiGatewayへのパラメータアクセスを管理できますか？たとえば、アクセス権のない会社名の場合、ユーザーに/da

0熱

1答えて

Athena：LazySimpleSerdeでヘッダー行をスキップ

Aws Athenaのorg.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeのヘッダー行をスキップできるかどうかを知りたいですか？私はtblproperties ('skip.header.line.count' = '1')を試しましたが、動作しません。私はそれがOpenCSVSerDeで動作しますが、クエリで多くの作業が終了するstringデータ型

2熱

2答えて

Aws Athena - 最初の行をスキップする外部テーブルを作成します。

以下のコードでAws Athenaで外部テーブルを作成しようとしていますが、TBLPROPERTIES ("skip.header.line.count"="1")という行は機能しません。最初の行はスキップされません）のcsvファイルの。 CREATE EXTERNAL TABLE mytable ( colA string, colB int ) ROW FORMAT

0熱

1答えて

アテナがLazySimpleSerDeでコレクションを解析できない

LazySimpleSerDeを使用しているときAWS Athenaがコレクションフィールドを正しくロードできないようです。 collection.delimを設定しても効果はありません。 thusly使用時： WITH SERDEPROPERTIES ( 'serialization.format' = '|', 'field.delim' = '|', 'collection.delim'

0熱

1答えて

AWSのAthena（AWS）データベースからの並列読み込み、

私はAWSのAthenaデータベースで大規模なデータセットを持っています。ここで私がしようとしています何私は並行して、そこから読みたい、と私はRJDBC を使用してい R.内からフォークに foreachパッケージのアプローチに慣れてる： out <- foreach(i = 1:length(fipsvec), .combine = rbind, .errorhandling = "remove

1熱

1答えて

同じクラウドフォーメーションスタック内のAthenaとS3の接続

ドキュメントのAWS::Athena::NamedQueryから、同じスタックに指定されたS3バケットにAthenaをアタッチする方法が不明です。私はexampleから推測していた場合、私はあなたのようなテンプレートを書くことができることを想像、 Resources: MyS3Bucket: Type: AWS::S3::Bucket ... other para

1熱

1答えて

私は以下のようにS3にデータフレームと格納を作成pysparkジョブ実行しているよアテナ

にスパークデータフレームをエクスポート： df.write.saveAsTable(table_name, format="orc", mode="overwrite", path=s3_path) を私はちょうどspark.read.orc(s3_path)を使用することにより、問題なくorcfileを読んで、そうありますすることができますorcファイル内のスキーマ情報。しかし、私は本当に

0熱

2答えて

AWSアテナマップクエリ

は、表には、このようなコラム、 data MAP<string, string> と行のように、 id | data 1 | {"foo": 123} 2 | {"bar": 456} 次に、どのように私は、データを検索することができます[ "バー"] = 456を持っていますか？私はそれを試みましたが、 "列 'バー'を解決できないというエラーが表示されます。

0熱

1答えて

テキストを寄木細工に変換する

私は、RedshiftからアンロードしたAmazon S3上で、私たちの赤方偏移ノード上のスペースをクリアするために、パイプで区切られた非分割データをテキストファイルとして持っています。このデータにアクセスするためにAthenaにテーブルを作成しましたが、パフォーマンスのためにデータを最適化したいと考えています。私はAWS EMRを使用して私のデータを寄木細工のフォーマットに変換しようとしていて、

1熱

1答えて

1つの「ALTER TABLE」コマンドで複数のパーティションを追加できますか？

私はS3バケットに格納されているいくつかのログファイルを照会するのにAmazon Athenaを使用しています。私はテーブルに追加する日数が多いので、ALTER TABLEコマンドですべてを行うことができますか、または作成するパーティションの数としてALTER TABLE個のコマンドを多く必要としますか？ ALTER TABLE logfiles ADD PARTITION