コンフィギュレーション・ファイルを使用したspark submitジョブ

Question

ジョブは、spark-submitを使用して糸クライアント・モードで送信されます。プロパティファイルAA.confは$ current_dirの中にあります。

（1）AA_With_All_Jars.jarはすべてのノードにコピーされますか？ （2）AA.confはすべてのノードにコピーされますか？ （3）出力ファイルが$ current_dir/dataに生成されると、それは機能しますか？

モードを糸クラスターに変更した場合、どうなりますか？同じ？

spark-submit \ 
--conf "spark.driver.extraClassPath=$current_dir/AA_With_All_Jars.jar" \ 
--class "MyMain" \ 
--master yarn-client \ 
--num-executors 4 \ 
--driver-memory 16g \ 
--executor-cores 10 \ 
--executor-memory 6g \ 
$current_dir/AAA-assembly.jar $current_dir T-2 2>&1 | tee ./my_log 

おかげ

Answer 1

ない私はあなたが火花は、設定ファイルのパスを指定することにより、提出できることを理解するところでは、あなたの質問

を理解してください。私が提案する最良の方法は、jarファイルと構成ファイルをhdfsに移動してから提出することです。

Answer 2

は、以下の私の答えです

（1）AA_With_All_Jars.jarは、すべてのノードにコピーされますか？

はい、これはすべてのノードにコピーされます

（2）AA.confは、すべてのノードにコピーされますか？

には唯一のjarファイルは、出力ファイルが$ current_dir /データに生成されている場合

（3）、それは動作します複製することはできませんか？

スパークジョブの出力は、あなたがそうあなたが任意のノードからアクセスできるHDFSに書き込むれる