o3ワークフローを使用してs3 serverside暗号化

Question

私はs3バケットにデータを書き込むsqoopジョブを持っています。コマンドラインからこのジョブを実行すると、s3ファイルが暗号化されます。しかし、oozieワークフローを使ってsqoopジョブを実行するために同じjarファイルを使用すると、データはs3にプッシュされますが、暗号化は行われません。

以下は、私の怠惰なワークフローです。

<java> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> 
     <arg>root</arg> 
     <arg>root</arg> 
     <arg>test</arg> 
    <arg>avro</arg> 
    <arg>sqoop-demo</arg> 
    </java> 
    <ok to="end"/> 
    <error to="email-action" /> 
</action> 

jar内にdistcpコマンドを使用してhdfsからs3にデータをコピーしています。

oozieワークフローを使用してs3ファイルのサーバー側の暗号化を行う方法はありますか。

Answer 1

私は、クラスタを起動する前にEMRクラスタでs3暗号化を有効にすることで上記の問題を解決しました。