スパークからスタンドアロンのjarファイルを実行する方法。

Question

私は初心者のように話すならば、私は非常にスパークするために新しいです、ただ学ぶので私と一緒にご負担ください。

私は、このjarファイルの機能は、キューに耳を傾け、いくつかのメッセージを処理することである

、自己完結型で、通常のJavaのjarファイルを持っています。今では、分散型の方法でキューから読み取る必要があるため、スパークマスターとYarnによって管理される3つのスレーブがあります。私が./spark-スタンドアロンマスター上のこのjarファイルをサブミットすると、すべて正常に動作します。コマンドラインでYarnをマスタとして設定してクラスタモードに切り替えると、HDFSでファイルが見つからないというエラーが発生します。 私はスタックを読んで、SparkContextについて言及する必要があることを知っていましたが、私の場合はそれを使用していません。

の質問がここにあります：

私はまだ、私は私の場合にはsparkContextのいずれかの使用方法を参照してくださいいけない

SparkConf conf = new SparkConf().setMaster("yarn-cluster").setAppName("TibcoMessageConsumer"); 
     SparkContext sparkContext = new SparkContext(conf); 

を使用する必要があります。

Answer 1

あなたはYarnを使用しているので、jarをhdfsにコピーすると、spark-submitでそれを参照できます。ローカル・ファイル・システムを使用したい場合は、すべてのワーカーノードにそのjarファイルをコピーする必要は[推奨されません]

./bin/spark-submit \ 
--class <main-class> \ 
--master <master-url> \ 
--deploy-mode cluster \ 
myapp-jar 

あなたが詳細については、このlinkで見ることができ