JupyterノートブックでpySparkを実行中 - Windows

Question

JupyterノートブックからpySparkを実行したい。私はJuptyerを持っていたAnacondaをダウンロードしてインストールしました。私は次の行に

from pyspark import SparkConf, SparkContext 
conf = SparkConf().setMaster("local").setAppName("My App") 
sc = SparkContext(conf = conf) 

を作成し、私は次のエラー

ImportError        Traceback (most recent call last) 
<ipython-input-3-98c83f0bd5ff> in <module>() 
    ----> 1 from pyspark import SparkConf, SparkContext 
    2 conf = SparkConf().setMaster("local").setAppName("My App") 
    3 sc = SparkContext(conf = conf) 

C:\software\spark\spark-1.6.2-bin-hadoop2.6\python\pyspark\__init__.py in <module>() 
39 
40 from pyspark.conf import SparkConf 
    ---> 41 from pyspark.context import SparkContext 
42 from pyspark.rdd import RDD 
43 from pyspark.files import SparkFiles 

C:\software\spark\spark-1.6.2-bin-hadoop2.6\python\pyspark\context.py in <module>() 
26 from tempfile import NamedTemporaryFile 
27 
---> 28 from pyspark import accumulators 
29 from pyspark.accumulators import Accumulator 
30 from pyspark.broadcast import Broadcast 

ImportError: cannot import name accumulators 

を取得し、私はStackOverflowのimporting pyspark in python shell

での回答に基づいて、火花/ Pythonのディレクトリを指す以下の環境変数PYTHONPATHを追加してみました

しかし、これは役に立たなかった

Answer 1

これは私のために働いた：

確認するには210

import os 
import sys 

spark_path = "D:\spark" 

os.environ['SPARK_HOME'] = spark_path 
os.environ['HADOOP_HOME'] = spark_path 

sys.path.append(spark_path + "/bin") 
sys.path.append(spark_path + "/python") 
sys.path.append(spark_path + "/python/pyspark/") 
sys.path.append(spark_path + "/python/lib") 
sys.path.append(spark_path + "/python/lib/pyspark.zip") 
sys.path.append(spark_path + "/python/lib/py4j-0.9-src.zip") 

from pyspark import SparkContext 
from pyspark import SparkConf 

sc = SparkContext("local", "test") 

：

In [2]: sc 
Out[2]: <pyspark.context.SparkContext at 0x707ccf8>