クラスタでpython3を使用してsparkを実行すると、このエラーが出てくるし続け:ImportError:pysparkに 'UserString'という名前のモジュールがありません
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 10 in stage 0.0 failed 4 times, most recent failure: Lost task 10.3 in stage 0.0 (TID 24, us-lax-office-dev-03.vpc.supplyframe.com): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/worker.py", line 98, in main
command = pickleSer._read_with_length(infile)
File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/serializers.py", line 164, in _read_with_length
return self.loads(obj)
File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/serializers.py", line 419, in loads
return pickle.loads(obj, encoding=encoding)
ImportError: No module named 'UserString'
私はのpython3「のUserString」で、それは、コレクションモジュールの一部であり、もうモジュールではないことを知っています。しかし、私はそれを修正することはできません。助けることができる人はいますか?
私は私のマスターノードがローカルに変更する場合は、それを修正することができないのはなぜ[*]このエラーが表示されなくなります.....私はそう
を試すことができます任意のコードは、そのエラーが付属していますか? –
@ LostInOverflowこのエラーが私のコードから来たのかどうかは分かりません。スパークを解析していくつかのWebログデータをフィルタリングするだけでした。 "/ home/glin /"は、スパークがインストールされている場所です。私はエラーが私のコードから来ていないが、最初に、私は別のクラスターでうまく動作している、第二に、私は地元でうまく動作している。私はこのクラスターを使用しようとしています。これは、私が使っている良いコアよりも多くのコアを持っているからです..... – Elvira