2017-08-07 5 views
0

私はpysparkを実行するたびに、私はそれらを無視した場合、私はちょうどscを書くときにそれを与えるNameError:name 'sc'は何の助け?Pysparkは私が始めるたびにこれらを与える

pyspark 
Python 2.7.12 (default, Nov 19 2016, 06:48:10) 
[GCC 5.4.0 20160609] on linux2 
Type "help", "copyright", "credits" or "license" for more information. 
17/08/07 13:57:59 WARN NativeCodeLoader: Unable to load native-hadoop  library for your platform... using builtin-java classes where applicable 
Traceback (most recent call last): 
File "/usr/local/spark/python/pyspark/shell.py", line 45, in <module> 
spark = SparkSession.builder\ 
File "/usr/local/spark/python/pyspark/sql/session.py", line 169, in getOrCreate 
sc = SparkContext.getOrCreate(sparkConf) 
File "/usr/local/spark/python/pyspark/context.py", line 334, in getOrCreate 
SparkContext(conf=conf or SparkConf()) 
File "/usr/local/spark/python/pyspark/context.py", line 118, in __init__ 
conf, jsc, profiler_cls) 
File "/usr/local/spark/python/pyspark/context.py", line 186, in _do_init 
self._accumulatorServer = accumulators._start_update_server() 
File "/usr/local/spark/python/pyspark/accumulators.py", line 259, in _start_update_server 
server = AccumulatorServer(("localhost", 0), _UpdateRequestHandler) 
File "/usr/lib/python2.7/SocketServer.py", line 417, in __init__ 
self.server_bind() 
File "/usr/lib/python2.7/SocketServer.py", line 431, in server_bind 
self.socket.bind(self.server_address) 
File "/usr/lib/python2.7/socket.py", line 228, in meth 
return getattr(self._sock,name)(*args) 
socket.gaierror: [Errno -2] Name or service not known 
+0

はスパークのバージョンを提供してくださいうまくいきましたありますか?ありがとうございます –

+0

注意を払ってくれてありがとう私は私の問題を解決した1週間後に解決した解決策は、/ etc/hostsファイルにlocalhostを追加することです!私はちょうどそれをし、すべてのものがうまくいった – EngAhmed

答えて

0

検索の1週間後、私はちょうど/ etc/hostsファイルを提出するだけで、追加のローカルホストで解決策を見つけ、その後、すべてのものは、あなたが正確に、それをどのディストリビューションを使用している

関連する問題