私はEclipseをSparkとPythonで開発するために設定しました。 私が設定したもの: 1. Pythonインタープリタを持つPyDev 2. Spark Pythonソースを持つPyDev 3. Spark Environment変数を持つPyDev。Eclipse(PyDev)のpy4j.protocolというモジュールがありません
これは私のライブラリの設定です:
そして、これが私の環境設定です:
私はCompensationStudyという名前のプロジェクトを作成し、私は小さな例を実行すると、すべてが円滑に進むようにしてください。
これは私のコードです:
from pyspark import SparkConf, SparkContext
import os
sparkConf = SparkConf().setAppName("WordCounts").setMaster("local")
sc = SparkContext(conf = sparkConf)
textFile = sc.textFile(os.environ["SPARK_HOME"] + "/README.md")
wordCounts = textFile.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b)
for wc in wordCounts.collect(): print wc
しかし、私はこのエラーを得た:はImportError:いいえモジュールの名前py4j.protocol
Logicly、PySparkのライブラリの依存関係のすべてを含むのPy4Jは、Spark PythonソースでPyDevを設定すると自動的にインポートされます。ここで何が問題なのですか?私のlog4j.propertiesファイルに問題はありますか? お願いします!