2016-08-02 10 views
1

クラスタでpython3を使用してsparkを実行すると、このエラーが出てくるし続け:ImportError:pysparkに 'UserString'という名前のモジュールがありません

py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe. 
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 10 in stage 0.0 failed 4 times, most recent failure: Lost task 10.3 in stage 0.0 (TID 24, us-lax-office-dev-03.vpc.supplyframe.com): org.apache.spark.api.python.PythonException: Traceback (most recent call last): 
    File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/worker.py", line 98, in main 
    command = pickleSer._read_with_length(infile) 
    File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/serializers.py", line 164, in _read_with_length 
    return self.loads(obj) 
    File "/home/glin/spark-1.6.0/python/lib/pyspark.zip/pyspark/serializers.py", line 419, in loads 
    return pickle.loads(obj, encoding=encoding) 
ImportError: No module named 'UserString' 

私はのpython3「のUserString」で、それは、コレクションモジュールの一部であり、もうモジュールではないことを知っています。しかし、私はそれを修正することはできません。助けることができる人はいますか?

私は私のマスターノードがローカルに変更する場合は、それを修正することができないのはなぜ[*]このエラーが表示されなくなります.....私はそう

+0

を試すことができます任意のコードは、そのエラーが付属していますか? –

+0

@ LostInOverflowこのエラーが私のコードから来たのかどうかは分かりません。スパークを解析していくつかのWebログデータをフィルタリングするだけでした。 "/ home/glin /"は、スパークがインストールされている場所です。私はエラーが私のコードから来ていないが、最初に、私は別のクラスターでうまく動作している、第二に、私は地元でうまく動作している。私はこのクラスターを使用しようとしています。これは、私が使っている良いコアよりも多くのコアを持っているからです..... – Elvira

答えて

0

I know that in python3 "UserString" is not a module anymore it is a part of the collections module. But I cannot fix it.

をcomfusedてるでしょうか?代わりに

import UserString 

のあなたは

from collections import UserString 
+0

UserStringファイルを使用している私のコードではないので... – Elvira

+0

あなたはソースコードにアクセスできません。あなたはより多くの制御を与えるenvを選択する必要があります。 – ShuaiYuan

+0

ありがとう!それは私がそれを試みることができる良い考えです。 – Elvira

関連する問題