sparkversion 2.0.1でsparkcontextを作成できません

Question

最近Sparkのバージョンを1.5から2.0.1に更新しました。 Pythonスクリプトが動作しなくなる。コード確認スパークで変更

sc=SparkContext(appName="YOGI") 

コード2.0.1

sc =SparkContext().master("spark://107.110.74.58:7077").appName("Python Spark SQL basic example").getOrCreate() 


File "/home/yogendra.s/codebase/processRawData.py", line 56, in <module> 
    sc =SparkContext().master("spark://107.110.74.58:7077").appName("Python Spark SQL basic example").getOrCreate() 
    File "/home/yogendra.s/.spark_update/spark_hadoop2_7/python/lib/pyspark.zip/pyspark/context.py", line 115, in __init__ 
    File "/home/yogendra.s/.spark_update/spark_hadoop2_7/python/lib/pyspark.zip/pyspark/context.py", line 174, in _do_init 
    File "/home/yogendra.s/.spark_update/spark_hadoop2_7/python/lib/pyspark.zip/pyspark/accumulators.py", line 259, in _start_update_server 
    File "/usr/lib/python2.7/SocketServer.py", line 420, in __init__ 
    self.server_bind() 
    File "/usr/lib/python2.7/SocketServer.py", line 434, in server_bind 
    self.socket.bind(self.server_address) 
    File "/usr/lib/python2.7/socket.py", line 224, in meth 
    return getattr(self._sock,name)(*args) 
socket.gaierror: [Errno -2] Name or service not known 



Content of my default.xml 
spark.master      spark://107.110.74.58:7077 
spark.driver.memory    20g 
spark.executor.memory    20g 

Answer 1

働いていた1.5

コード：

SC = SparkContext（）をマスタ（ "spark：//107.110.74.58：7077"）.appName（ "Python Spark SQLの基本的な例"）。getOrCreate（）

あなたは.master

Spark documentsの代わりに.setMasterを使用してみてくださいお勧め：私は.getOrCreate()一部

を削除した

from pyspark import SparkContext, SparkConf 

conf = SparkConf().setAppName("Python Spark SQL basic example").setMaster("spark://107.110.74.58:7077") 
sc = SparkContext(conf=conf) 

注：お使いの場合の試みで

conf = SparkConf().setAppName(appName).setMaster(master) 
sc = SparkContext(conf=conf)