起動pyspark Ipythonのノートブックは、EC2

Question

に私はちょうど1.4から2.0をスパークにアップグレードして、私はに行くいくつかのクラスタをスピンアップするにはgithub.com/amplab/spark-ec2/tree/branch-2.0

からEC2ディレクトリをダウンロード私のEC2のディレクトリとは、これらのコマンドを実行します。

./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name> 

./spark-ec2 -k <keypair> -i <key-file> login <cluster-name> 

私は私のクラスターを持っていると私は、マスターにログインしていますが、私はpysparkノートブックを起動する方法がわかりません。スパーク1.4で、私は、コマンド

IPYTHON_OPTS="notebook --ip=0.0.0.0" /root/spark/bin/pyspark --executor-memory 4G --driver-memory 4G & 

を実行するだろうと私は起動して実行罰金が、スパーク2.0と私のノートPCを持っている何のビン/ pysparkディレクトリがありません。誰もこれで助けることができますか？

Answer 1

ソースのコメントによると：スパーク2.0で

https://apache.googlesource.com/spark/+/master/bin/pyspark

、IPYTHONとIPYTHON_OPTSが削除され、pysparkは、どちらかのオプションは、ユーザの環境に設定されている場合、起動に を失敗しました。代わりに、 ユーザーは、Python ドライバ（たとえばPYSPARK_DRIVER_PYTHON_OPTS = 'notebook'）を起動するときに、IPythonを使用するにはPYSPARK_DRIVER_PYTHON = ipythonを設定し、 PYSPARK_DRIVER_PYTHON_OPTSにオプションを渡すよう設定する必要があります。これは、 IPythonとexecutor Python実行可能ファイルの完全なカスタマイズをサポートしています。

次のlinkは段階的に進みます。 Spark 2.0にアップグレードすると同時にJuypterノートブック（旧Ipythonノートブック）にもアップグレードする必要があります。