Sparkで手動でクラスタを起動できませんでした

Question

私はSpark Apacheを使い始めました。私は自分のローカルコンピュータ（Windows 10、Intel Core i5、8 GB RAM）でテストし、すべて正常に動作しました。私は手動でクラスタを起動しようとしたとき、私は下の添付画像のようなエラーました：

情報をログから（C：\スパーク\ログ\火花 - org.apache.spark.deploy.master.Master -1-XXXXXX.out：

スパークコマンド：C：\プログラムファイル\のJava \ jdk1.8.0_72 \ビン\のJavaの-cpのC：\スパーク/ confに\; C：\スパーク/ libに/ spark-assembly-1.6.0-hadoop2.6.0.jar; C：\ Spark \ lib \ datanucleus-api-jdo-3.2.6.jar; C：\ Spark \ lib \ datanucleus-core-3.2.10.jar ; C：¥Spark¥lib¥datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip XXXXXX --port 7077 --webui-port 8080

私はこの問題が、ありません成功を解決するために、これらのソースを使用します。
Spark Standalone Mode
How to Setup Local Standalone Spark Node
Setup a Apache Spark cluster in your single standalone machine

は、任意のフィードバックをいただき、ありがとうございます。

Answer 1

少し混乱していると思います。 Windowsマシン上でSparkを実行する場合、リモートマスターを使用するか、ローカルで実行するのが理にかなっています。どちらの場合もbin\spark-shell.cmd（または別のbin/*.cmd）を使用してください。 Windowsマシン上では.cmdで終わるコマンドだけを実行してください。 start-master.shあなたが言っていることを実行すると、私はこのマシンをスパーク・クラスタのリソース・マネージャとして使いたいので、他のスパーク・クライアントはそれに接続してクエリを実行できます。これはおそらくあなたが望むものではありません。 local[*]を実行しているときは、すでにすべてのローカルリソースを使用しているため、「マスター」を開始する必要はありません。より多くのリソースが必要な場合は、リモートクラスタ（たとえばEMR）を起動してから接続してください。bin\spark-shell.cmd --master AMAZON.IP:7077