2016-12-08 14 views
-1

私はセットアップhadoopを持っており、VMwareを介してubuntu 14を起動します。スタンドアローンモードでspark/examples/...のwordcountのpythonスクリプトを実行しようとしていますが、構文エラーです。pysparkジョブを送信中に構文エラーが発生しました

./bin/spark-submit --master yarn --deploy-mode client --executor-memory 2g usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/spark/README.md' 
    File "<stdin>", line 1 
    ./bin/spark-submit --master yarn --deploy-mode client --executor-memory 1g 
    /usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/README.md' 
     ^
    SyntaxError: invalid syntax 

私はスパークで初心者です、

+2

構文エラーの背後にある実際の問題は、表示される前の行にあることが多いため、前の行のいくつかを示してください。完全なトレースバックも提供してください。 – TigerhawkT3

+0

これは前の行です... – bob

答えて

0

wordcount.pyは、私がいたとして、私はこのエラーを解決してきたhere

+0

第2引数は何ですか – bob

+0

第1引数として入力ファイルを意味しますが、第2引数の使用が指定されていないので、第2引数として渡す必要があります。 – bob

0

を参照して、2つの入力引数を期待し.....それを解決する方法を教えてくださいSparkディレクトリではなくbinディレクトリから./bin/spark-submitを呼び出します。それは、ファイルパスを指定する単一の引数を使用して2つの引数を扱うことはありません。

関連する問題