SparkContext（）とSparkConf（）でバグがあります

Question

私は以下のようにSparkConfでSparkContextを初期化しようとすると：

from pyspark import * 
from pyspark.streaming import * 

cfg = SparkConf().setMaster('yarn').setAppName('MyApp') 
sc = SparkContext(conf=cfg) 
print(sc.getConf().getAll()) 

rdd = sc.parallelize(list('abcdefg')).map(lambda x:(x,1)) 
print(rdd.collect()) 

それは糸で実行されないことを出力ショー：

[(u'spark.master', u'local[10]'), ...] 

spark.master local[10] 

マイコンピュータ： Pytho

それは$ SPARK_HOME/confに/スパーク-defaults.confにで設定を使用しましたn2.7.2 Spark2.1.0

---

その後、私はspark2.0.2とSparkConf（で同じコードを実行するには）だから、それが本当にバグであるだけでなく

に動作しますか？

Answer 1

糸を使用するには、ドライバをマスタで実行するか、ワーカーノードで実行するかを指定する必要があります。

糸クライアントが

SparkConf().setMaster('yarn-client') 

糸クラスタがワーカーノード

SparkConf().setMaster('yarn-cluster') 

Hereの一方にドライバを実行するマスターノードにドライバを実行すると、糸のクライアントで実行するための一例ですモード。