DB2接続でスパーク送信ジョブを自動化

Question

spark submitコマンドラインツールを使用してシェルスクリプトで呼び出したスパークジョブがあります。 DB2接続のユーザー名とパスワードの資格証明をjarファイルに渡す必要があります。 ユーザー名とパスワードを読み込めないことが条件です。

誰でも助けてもらえますか？私は

HadoopのバージョンのHadoopの2.6以降のキーストアを導入しているHadoopの資格APIを使用しようとするだろう

Answer 1

。あなたの火花プログラムにキーストアのパスと別名を渡すと、実行時にキーストアからパスワードを取得することができます

ここ

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/CommandsManual.html#credential

サンプルJavaプログラムです https://apache.googlesource.com/hadoop-common/+/refs/heads/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/security/alias/JavaKeyStoreProvider.java