jupyterノートブックでspark-submitを実行するにはどうしたらいいですか？

私はネットワークデータベースからデータを取得するためにjupyterノートブック内のジョブを提出火花を実行しようとしていますjupyterノートブックでspark-submitを実行するにはどうしたらいいですか？

!spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0 script.py

をし、このメッセージました：

jupyter：「/ホーム/ユーザー/ script.py 'はJupyterコマンドではありません

ノートブックから送信するオプションはありますか？

出典

2017-09-19 Mario L

重要な情報は入れていませんでした。たとえば、 'PYSPARK_DRIVER_PYTHON'（またはそれに相当するもの）を' jupyter'に設定したようです。 'jupyter'は' run'を介して直接スクリプトを実行することができます。 – zero323

ipykernelの場合は、スパーク送信を行う必要はありません。すでに対話型スパークモードになっています。sparkContextとsqlContextが既に作成されており、カーネルが起動しているセッションで利用できます。カスケードの並べ替え操作を作成しようとしているようです。つまり、スパークアプリケーション内でスパークアプリケーションを作成するなどです。あなたはスパークでそれを持つことはできません。

通常のPythonカーネルを起動し、Popenなどのライブラリと関数を使用してシェルコマンドとしてをシェルコマンドとして実行できます。

出典

2017-09-19 17:22:43

この問題は解決されました。ありがとう –

は、シェルの魔法を使用します。

%%sh 
spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0 script.py

は、より多くの魔法hereを参照してください！

出典

2017-09-19 10:36:18 Tim

ありがとう@Tim、一歩前進のようです。しかし、私は今でも同じ問題が発生します： 'jupyter：' /home/user/script.py 'はJupyterコマンドではありません' –

Scalaカーネル、またはIPythonを使用していますか？ – Tim

そのipykernelです。 –

jupyterノートブックでspark-submitを実行するにはどうしたらいいですか？

答えて

関連する問題