2016-10-06 5 views
0

私はspark-submitを起動しても何も起こらないので、私の問題は次のとおりです。私は、次のコマンドラインを書く:pythonファイルでspark-submitが動作しない

spark-submit -v path_to_python_file 

私はmasterURLとクラスを指定する必要がありますが、私は、コマンドラインでそれらを指定したかどうかは...いつも何も同じではないことを知っています。私が引数を渡すとき、私はstdoutでそれらを表示するためにsucceddを実行しますが、sparkを参照するすべてのコードは起動しません。誰かが手がかりを持っている場合は

はそれは素晴らしい

+0

なぜ私は '-v'引数を持っているのですか?私は通常、 'spark-submit'をPythonファイルへのパスで実行しています。 – DhiwaTdG

+1

-vはverboseのためだけであり、spark-submitコマンドに関する情報を提供します。あなたが説明しているように私はすでにいくつかのプログラムを見た(pythonファイルへのパス)ので、私の問題は自分の環境の設定の問題だと思う – Phil

答えて

0

以下のようになり(私は窓の下で火花を使用しています)は、火花提出する構文です。

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ 
    --master yarn \ 
    --deploy-mode cluster \ 
    --driver-memory 4g \ 
    --executor-memory 2g \ 
    --executor-cores 1 \ 
    --queue thequeue \ 
    lib/spark-examples*.jar \ 
    10 
関連する問題