Pyspark：spark-submitを使用してファイルを実行しているときにJupyterコマンドを実行中にエラーが発生しました

Question

jupyterノートブックでpysparkを実行してスクリプトを実行できます。 しかし、私は火花提出を使って端末からファイルを実行しようとすると、このエラーを取得：Jupyterコマンドにファイルパスを実行

エラー[errnoを2]いいえそのようなファイルやディレクトリ

は誰でも助けることができます私の設定に何が間違っていますか？

私はあなたがpysparkスクリプトを実行するにはjupyterを設定しているため、これらの問題が発生するのPython 2.7を使用して1.6

Answer 1

スパークしています。 PYSPARK_DRIVER_PYTHONの変数コマンドを$ unset PYSPARK_DRIVER_PYTHONに設定してから、再度スパーク送信を試みてください。 ./bin/spark-submit examples/src/main/python/streaming/network_wordcount.py localhost 9999