setspark.init（）Permanently

私はこのパス/home/mymachine/spark-2.1.0-bin-hadoop2.7のubuntuにインストールされているApache Sparkを持っていますので、このディレクトリの下にあるpythonディレクトリに移動してsparkを使用できるようにするか、ヘルプでpythonディレクトリ外で使用できます私が欲しいsetspark.init（）Permanently

import findspark 
findspark.init("/home/mymachine/spark-2.1.0-bin-hadoop2.7")

毎回がfindsparkを使用するには、非常に効果的ではありません。ライブラリーと呼ばれるfindsparkから、しかし私はいつもこのように、このライブラリを初期化する必要がありそうです。このライブラリを永久に初期化するにはどうしたらよいですか？

hereには、変数.bash_profileに変数SPARK_HOMEを設定する必要がありますが、私はそれを行いましたが、運はありません。

出典

2017-09-23 HelloWorld

こんにちは、私はOSXで同様の問題がありました。意味、私は自分の.bash_profileにSPARK_HOMEを追加しました。私は 'source .bash_profile'を解決する必要がありました。 –

こんにちはbob-haffner '' 'source .bash_profile'''を解決するのはどういう意味ですか？ – HelloWorld

こんにちはHW、env var（例：SPARK_HOME）を.bash_profileに追加するときには、シェルを閉じて再オープンするか、 'source .bash_profile'を実行する必要があります。それは理にかなっていますか？ –

あなたがjupyterノートブックとpysparkするために実行したい場合

export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

再びsource .bashrc
を.bashrcにするために、これらの変数を追加し、その後、source .bashrc

export SPARK_HOME=/path/2/spark/folder 
export PATH=$SPARK_HOME/bin:$PATH

あなたの.bashrcファイルに次の変数を追加します。シェルから pysparkを実行すると、jupyterノートブックサーバが起動し、pysparkがpythonカーネルで使用可能になります。

出典

2017-09-26 08:27:22 ashwinids

答えて

関連する問題