MacOSでのSparkのインストールと設定ImportError：pysparkというモジュールがありません

Question

MacOSでapache-sparkを設定しようとしています。すべてのオンラインガイドは、スパークタールをダウンロードし、いくつかのenv変数を設定するか、またはbrew install apache-sparkを使用して、いくつかのenv変数を設定するように求めています。

私はbrew install apache-sparkを使ってapache-sparkをインストールしました。 端末でpysparkを実行し、インストールが成功したことを示すpythonプロンプトが表示されます。私は私のpythonファイルに​​をしようとすると

は今、私はImportError: No module named pyspark

私は理解できないんだ奇妙なことであるかであることpysparkのREPLを起動できないというエラーに直面していますモジュールをPythonコードにインポートすることができます。

pip install pysparkでも試してみましたが、モジュールを認識しません。

homebrewでapache-sparkをインストールすることに加えて、私はenv変数を設定しました。

if which java > /dev/null; then export JAVA_HOME=$(/usr/libexec/java_home); fi 

if which pyspark > /dev/null; then 
    export SPARK_HOME="/usr/local/Cellar/apache-spark/2.1.0/libexec/" 
    export PYSPARK_SUBMIT_ARGS="--master local[2]" 
fi 

私のローカルマシン上でpysparkコードを実行するために私のセットアップに正確にないものをお勧めします。

Answer 1

私はMACを使用してはいけない、しかし別の方法は、横に答え上のLinuxであり申し訳ありません：

sudo ln -s $SPARK_HOME/python/pyspark /usr/local/lib/python2.7/site-packages 

Pythonはから/パス/あなた/パイソン/ のsite-packages /にモジュールを読み込みます最後に

Answer 2

pysparkモジュールお使いのシステムPATHにそれらを含めることしたくない場合は

import os 
import sys 

os.environ['SPARK_HOME'] = "/usr/local/Cellar/apache-spark/2.1.0/libexec/" 

sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python") 
sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python/lib/py4j-0.10.4-src.zip") 

try: 
    from pyspark import SparkContext 
    from pyspark import SparkConf 

except ImportError as e: 
    print ("error importing spark modules", e) 
    sys.exit(1) 

sc = SparkContext('local[*]','PySpark') 

---

代わりにこれを試してみてください、あなたのpythonで

が含まれていません。そして、pythonのパスを含めることを忘れないでください。

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.0/libexec/ 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH 
export PATH=$SPARK_HOME/python:$PATH