複数のハイブテーブルから読み込んで複数のハイブテーブルに書き込むスパークアプリケーションを作成したいと思います。しかし、ここには奇抜です。S3とスパークします。 S3上の複数のハイブターゲット。いくつかのハイブテーブルにはs3:sseを使用し、s3:sseは使用しないでください
すべてのハイブテーブルは、S3に存在するデータを含む外部ハイブテーブルです。
一部のs3バケットでは、書き込み時にs3:sse暗号化が必要で、バケットによっては暗号化されないものがあります。
私は理解できるように、グローバルレベルでプロパティfs.s3.server-side-encryption-algorithmを設定することしかできません。
どうすればよいですか。私はこれが一般的な使用事例であると確信しています。
私は次のように質問しています。
私はハイブテーブルから読み込み、スパークアプリケーション内のハイブテーブルに書き込んでいると考えてください。 両方のハイブテーブルがS3上のデータで外部にあると考えてください。 ただし、テーブルは暗号化されていないバケットから読み取り、暗号化を必要とするバケットに書き込みます。