SPARK_WORKER_INSTANCES for Spark 2.2.0

Spark 2.2.0では、ノードごとに複数のワーカーを起動するオプションSPARK_WORKER_INSTANCESは表示されません。これはどうすればいいですか？SPARK_WORKER_INSTANCES for Spark 2.2.0

出典

2017-07-25 SSH

を試験するために有用である単一のマシン（ローカルホスト）に、起動スクリプトのデフォルトを存在しない場合は、sparkフォルダのconfディレクトリ内spark-env.shファイルを見れば、あなたはオプションSPARK_WORKER_INSTANCES=1が表示されます。それをあなたが望む番号に変更することができます。

したがって、スパークがsbin/start-all.shで開始される場合、定義されたワーカーノードの数がそのマシンで開始される必要があります。

出典

2017-07-25 15:37:57

ありがとうございました。見つけた。それはオンラインドキュメントにはありません。私はspark-env.shファイルを変更する権限を持っていないので、--conf key = valueフォーマットとしてspark-submitオプションを使うことができます。 – SSH

あなたは-conf spark.worker.instances = 3を意味しますか？ – SSH

火花のような構成があってはならない。あなたは思うことができます。成功した場合は私にも教えてください:) –

documentationスパークによると、起動スクリプトでスパークスタンドアロンクラスタを起動するには

を、あなたはどこのすべてのマシンのホスト名が含まれている必要があり、あなたのスパークディレクトリ内のconf /スレーブと呼ばれるファイルを、作成する必要がありますあなたは、1行に1つずつ、Sparkワーカーを開始するつもりです。 confに/スレーブが

出典

2017-07-25 15:13:44

SPARK_WORKER_INSTANCES for Spark 2.2.0

答えて

関連する問題