スパークシェルが実行されていません '初期ジョブは何らかのリソースを受け入れていません'

私はSpark 2.2.0をインストールしたAWS EC2のインスタンスで作業していますが、8GBのRAMと2つのコアがあります。スパークシェルが実行されていません '初期ジョブは何らかのリソースを受け入れていません'

私はpysparkシェルと少しを再生するには、このチュートリアルを以下ました：
https://sparkour.urizone.net/recipes/managing-clusters/

私がマスターを開始し、私は1つのスレーブワーカーを開始し、彼らはウェブUI上に表示されます。私は次のようなコマンドを実行しようとすると、

しかし、シェルで、：

>>> tf = spark.sparkContext.textFile('README.md') 
>>> tf.count()

私はこれを取得：

[ステージ0：>（0 + 0）/ 2]
17/08/29 11:02:51 WARN TaskSchedulerImpl：初期ジョブがリソースを受け付けませんでした。労働者が登録されていることを確認するためにクラスタUIをチェックして、私のspark-env.shでは十分なリソース

を持って、私はこのような変数を設定します。だから、

SPARK_LOCAL_IP=127.0.0.1 
SPARK_MASTER_HOST=127.0.0.1 
SPARK_WORKER_INSTANCES=2 
SPARK_WORKER_MEMORY=1000m 
SPARK_WORKER_CORES=1

を、私はなぜ知りません問題があります。 pysparkシェルは正しく私が推測する作業者のスレーブに到達しません。私のコメントの1から

spark-shell (or spark-submit) --master local[*] --driver-memory 4G ...

：私はこのような設定で火花を開始する。この設定では

2017-08-29 Ahmedn1

お試しいただけますか https://stackoverflow.com/questions/42863521/why-does-my-pyspark-just-hang-as-accepted-in-yarn-when-i-launch-it/43225607#43225607 ？ –

'spark.driver.memory 3g'を追加するためにspark-defaults.confを変更しましたが、それでもまだ動作しません – Ahmedn1

-1

ような小さなマシンと

、私はあなたがすることはできません疑いますクラスタモードで実行します。事は、スパークの運転手が他の2人の労働者と同様に資源を必要としていることです。このシナリオでは、1人のコアドライバ+ 2人の作業者* 1コアがあります。労働者の数を1人に減らそうとすると、それはうまくいくはずです。

2017-08-29 11:27:11

スタンドアロンモードで動作し、クラスタWeb上に表示されません。エグゼクティブの間で作業を進める。 – Ahmedn1

あなたのコメントでは、あなたがクラスタモードで動作しているとは言いません。だから私はあなたがスタンドアロンモードで単一のEC2インスタンスを実行していたと推測しました。 –

はいスタンドアロンモードで1つのEC2インスタンスで実行しています。しかし、私が - ローカルの[*]をマスターすると、127.0.0.1：8080のWeb UIには表示されません。 – Ahmedn1

答えて