2017-03-29 11 views
0

私の目的は、Apache SparkでJupyter Notebook(IPython)を使用することです。私はこれを行うためにApache Toreeを使用しています。私はSPARK_HOMEの環境変数を設定し、JupyterでApache Toreeのインストールを設定していました。すべてがうまく見えます。Jupiter Notebook with Apache Spark(カーネルエラー)

私は、以下のコマンドを実行すると、juypterブラウザが開かれipythonノート--profile = pyspark

enter image description here

私はアパッチToree選択 - ドロップダウンメニューにPySparkを、私は私のノートにコーディングしないことができると私はこの見解を持っている(Pythonの2はOKです):

enter image description here

赤いボタンを与えます:

enter image description here

何が悪いのでしょうか?助けてください ?

答えて

1

トライに夢中ではなく、学習と実験のためにローカルスパークが必要な場合は、スパークのコピーをダウンロードして解凍し、ノートブックの最初にこれを使用してください:

import os 
import sys 

os.environ['SPARK_HOME']="<path where you have extracted the spark file>" 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python')) 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'bin')) 
sys.path.append(os.path.join(os.environ['SPARK_HOME'], 'python/lib/py4j-0.10.4-src.zip')) 

from pyspark import SparkContext,SparkConf 
from pyspark.sql import SQLContext, Row 
import pyspark.sql.functions as sql 


sc = SparkContext() 
sqlContext = SQLContext(sc) 
print sc.version 
関連する問題