2017-10-07 9 views
-1

私のpythonスクリプトとデータセットがH:\spark_materialのドライブ/フォルダからspark-submitコマンドを実行しようとしています。それは動作しません!spark-submitはcmdのどこでも動作しません

しかし、このフォルダに私のpythonスクリプトをコピーすると、C:\spark\binが動作します。

私は環境変数と関係があると考えています。ここで は私の道である=ここ%JAVA_HOME%\bin; %SPARK_HOME%\bin

は私の変数です: HADOOP_HOME = C:\winutils JAVA_HOME = C:\jdk SPARK_HOME = C:\spark

私はどこでもCMDでタイピング「のjava -version」を試してみましたが、それが作品としてJavaが正しくインストールされています!

+1

_ "これはうまくいかない!" 'H:\ spark_material'とは何ですか?どのように内部にあるのか、そして何が問題なのかを、 –

+0

[...が内部または外部のコマンド、実行可能なプログラムまたはバッチファイルとして認識されない理由は何ですか?](https://stackoverflow.com/questions/41454769/what-is-the内部または外部として認識されない理由) – Mofi

+0

@Ben私はあなたの 'PATH'を見て、間違いを見ることができました:' C:\ sparkのスペースが残っています\ bin'となります。これは、この先頭のスペース文字のためにフォルダパスが無効であるため、そのディレクトリ内に何も見つからない理由です。 PowerShellのフォルダパスのあとに、 'C:¥Program Files(x86)¥NVIDIA Corporation¥PhysX¥Common'と' C:¥ProgramData¥Oracle¥Java¥javapath'を移動することを強くお勧めします。アプリケーションインストーラは、最も重要な標準のWindowsパスの前にアプリケーションのフォルダパスを登録する必要はありませんが、多くのインストーラは不正なコードです。 – Mofi

答えて

0

あなたのパスを修正してください場合はapacheの火花パスがbinフォルダ まで指定で/謎である - 私は運転以外私のマシン上のいずれかで、すべて1を再インストール私の意見ではPythonディストリビューションの問題でした。 Canopy(enthought)を再インストールすると、spark-submitコマンドが機能し始めました。私はCanopy(Python)の以前のバージョンでもうまく動作していたように、なぜそれが起こったのかまだ分かりません。

ご返信いただきありがとうございます。皆さんからたくさんのことを学びました。

0

あなたのCMDとタイプのパスを開き、チェックがないことだった

+0

それはあります.... C:\ Windows \ system32; C:\>パス PATH = C:¥Program Files(x86)¥NVIDIA Corporation¥PhysX¥Common; C:¥ProgramData¥Oracle¥Java¥javapath; Windows \ System32 \ Wbem; C:\ Windows \ System32 \ WindowsPowerShell \ v1.0 \; C:\ jdk \ bin; C:\ spark \ bin – Ben

+0

CD c:/ spark/bin/submit、それは動作していますか? –

+0

はい、それはc:/ spark/bin/ – Ben

関連する問題