1
spark-jobserverをserver_start.shを使用して起動したスパーク・ジョブ・サーバをインストールしましたが、どのように進めても複数の作業者に起動することはできません。いくつかのコアとより多くのメモリで動作させることができますが、いくつかのノードで動作させることはできません。クラスタ内の複数のノードでspark jobserverが起動していない
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g
最初の2つのコマンドは起動及び第4コアおよび7グラムを使用して1つのワーカーを示しているが、一つのコアと1ギガバイトを使用して1つのワーカーを示した：次のように我々が試みた
コマンドです。 4番目のコマンドは、使用する6つのコアを示しますが、SUBMITTED状態です。
次のコマンドでsparkシェルを起動し、2人のワーカーと合計6コアのドライバを実行することで、複数のワーカーで起動してアプリケーションを実行できることを確認しました。
./spark-shell --master spark://IP:PORT --total-executor cores 6
助けていただければ幸いです。