apacheの火花「Py4JError：Java側からの回答が空である」

Question

私はこのエラーを毎回取得... 私は輝く水を使用して... 私のconfファイル：

***"spark.driver.memory 65g 
spark.python.worker.memory 65g 
spark.master local[*]"*** 

データの量があります約5Gb。 このエラーに関する別の情報はありません... なぜそれが起こるのか分かりませんか？ありがとうございました！

***"ERROR:py4j.java_gateway:Error while sending or receiving. 
Traceback (most recent call last): 
    File "/data/analytics/Spark1.6.1/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 746, in send_command 
    raise Py4JError("Answer from Java side is empty") 
Py4JError: Answer from Java side is empty 
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server 
Traceback (most recent call last): 
    File "/data/analytics/Spark1.6.1/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 690, in start 
    self.socket.connect((self.address, self.port)) 
    File "/usr/local/anaconda/lib/python2.7/socket.py", line 228, in meth 
    return getattr(self._sock,name)(*args) 
error: [Errno 111] Connection refused 
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server 
Traceback (most recent call last): 
    File "/data/analytics/Spark1.6.1/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 690, in start 
    self.socket.connect((self.address, self.port)) 
    File "/usr/local/anaconda/lib/python2.7/socket.py", line 228, in meth 
    return getattr(self._sock,name)(*args) 
error: [Errno 111] Connection refused 
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server 
Traceback (most recent call last): 
    File "/data/analytics/Spark1.6.1/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 690, in start 
    self.socket.connect((self.address, self.port)) 
    File "/usr/local/anaconda/lib/python2.7/socket.py", line 228, in meth 
    return getattr(self._sock,name)(*args) 
error: [Errno 111] Connection refused"*** 

Answer 1

は、あなたのスパーク設定ファイルでspark.executor.memoryとspark.driver.memoryを設定しようとしたことがありますか？

詳細については、https://stackoverflow.com/a/22742982/5453184を参照してください。