Bluemix spark-submit - Scala jarに必要な資格情報を保護する方法

Question

私はBluemix Spark Clusterに提出するSparkアプリケーションを持っています。 DASHDBデータベースから読み取り、その結果をCloudantに書き込みます。このコードは、SparkとJDBCの両方を使用してDASHDBにアクセスします。

DASHDBデータベースのユーザーID &のパスワードが、引数としてプログラムに渡されます。私はspark-submitを介してこれらのパラメータを渡すことができますが、安全とは思えません。コードでは、JDBCを使用してさまざまなテーブルに接続するため、DASHDBデータベースの資格情報を知る必要があります。

安全な方法でspark-submitを使用して資格情報を渡す "ベストプラクティス"の方法を見つけることを試みています。事前に

おかげ - ジョン

Answer 1

私はあなたがbluemix上のマルチテナント環境であるとしてそれは問題外ですので、JDBCドライバは常にデータベースに接続するためのユーザー名とパスワードが必要になると思います。

引数を安全に読み取るためのspark-submit.shについて、そのオプションはまだ使用できません。

ありがとう、 チャールズ。

Answer 2

回答hereに基づいて、自分の資格情報を持つプロパティファイルを渡すことが優先されます。他のテナントはプロパティファイルを読み取ることができませんが、あなたのスパークアプリケーションからの場合は読み込むことができます。パラメータにアクセスすることができるデータフレームspfromとして定義します。