Spark submitを使用して外部パラメータを渡す方法

Question

私のアプリケーションでは、データベースに接続する必要があるので、アプリケーションの送信時にIPアドレスとデータベース名を渡す必要があります。

次のように私は、申請書を提出：

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

をあなたが必要に合格するapplication-argumentsとconfのいずれかを使用することができます：あなたはthe official documentationをチェック

./spark-submit --class class name --master spark://localhost:7077 \ 
--deploy-mode client /home/hadoop/myjar.jar 

Answer 1

場合は​​構文を以下していることがわかりますメインメソッドに設定し、それぞれSparkConfに設定します。

Answer 2

あなたはここでthe link

./bin/spark-submit \ 
    --class <main-class> 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

から火花提出コマンドを使用することができますzero323で述べたように、confのがどのように実行するアプリケーションのために必要とされるスパーク関連のconfigsを渡すために使用されますSpark-default.confに設定されている既定のプロパティをオーバーライドする場合は、

ユースケースでは、IPをアプリケーションに渡してデータベースに接続したい場合は、[application-arguments]をJARの後に渡します。

あなたのようにあなたのメインを設定する場合：

def main(args: Array[String]) 

次にあなたがた.jar行の後に与えられた引数として何かを受け入れることができます。

for more details