私のOSはUbuntu 16で、私の目標はJupyterノートブックでです.Jupyter NotebookをSparkをインストールしたディレクトリから(コンソール経由で)起動する必要はありません。私はそうJupyterでpysparkをインポートするノートブックを任意のディレクトリから起動
import findspark
findspark.init("directory_where_I_installed_spark_to")
import pyspark
これは一つのセッションのために働くようfindspark
でそれを試してみましたが、私シャットダウンセッションとは再びノートブックを開いたとき、は私にImportError: No module 'pyspark'
を取得します。私は何が欠けていますか?
環境変数を定義する必要があります。https://stackoverflow.com/questions/35576621/setting-environment-variables-from-python-code-for-spark –