2017-04-06 11 views
0

複数のハイブテーブルから読み込んで複数のハイブテーブルに書き込むスパークアプリケーションを作成したいと思います。しかし、ここには奇抜です。S3とスパークします。 S3上の複数のハイブターゲット。いくつかのハイブテーブルにはs3:sseを使用し、s3:sseは使用しないでください

すべてのハイブテーブルは、S3に存在するデータを含む外部ハイブテーブルです。

一部のs3バケットでは、書き込み時にs3:sse暗号化が必要で、バケットによっては暗号化されないものがあります。

私は理解できるように、グローバルレベルでプロパティfs.s3.server-side-encryption-algorithmを設定することしかできません。

どうすればよいですか。私はこれが一般的な使用事例であると確信しています。

私は次のように質問しています。

私はハイブテーブルから読み込み、スパークアプリケーション内のハイブテーブルに書き込んでいると考えてください。 両方のハイブテーブルがS3上のデータで外部にあると考えてください。 ただし、テーブルは暗号化されていないバケットから読み取り、暗号化を必要とするバケットに書き込みます。

答えて

0

Hadoop 2.8.0では、per-bucket configurationsを追加することができます。 2.8.0 JARを使用するようにSparkをアップグレードすると、Sparkのこの機能を使用することができます。

関連する問題