私はAnacondaをインストールし、上にスパークを使って作業を試みます。 Ipython_OPTS = "notebook"でsparkを起動すると、pythonのバージョンはanacondaのノート向けのpythonのバージョンに関連付けられています。Anaconda + ipythonノートブック用の火花変更Pythonバージョン
$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython 0.13 py26_0 defaults
* 4.1.2 py35_1 defaults
ipython-notebook 0.13.2 py27_0 defaults
4.0.4 py27_0 defaults
4.0.4 py34_0 defaults
4.0.4 py35_0 defaults
python 1.0.1 0 defaults
. 2.7.11 0 defaults
* 3.5.1 0 defaults
そしてスタート火花シェルは、私が興味を持った上で環境のバージョンは正確な(私は2.7.11をしたい)ことができる場合:
$ PYSPARK_PYTHON=/Applications/anaconda/anaconda/envs/vingt-sept/bin/python pyspark
Python 2.7.11 |Continuum Analytics, Inc.| (default, Dec 6 2015, 18:57:58)
を、私はそれをipythonノートブックと火花を開始した場合
同様
これは、ipythonのpythonバージョンを変更する方法を説明しています。http://stackoverflow.com/questions/9386048/ipython-reads-wrong-python-version – shivsn