1. ホーム
  2. 質問と答え
  3. PySparkでスクリプトを実行するには

PySparkでスクリプトを実行するには

2016-10-13 9 views
5

私はpyspark環境でスクリプトを実行しようとしていますが、これまでのところ私はできませんでした。 python script.pyのようなスクリプトをpysparkで実行するにはどうすればよいですか？おかげであなたが行うことができますPySparkでスクリプトを実行するには

出典

2016-10-13 Daniel Rodríguez

答えて

8

：pysparkを通じてPythonアプリケーションを実行する./bin/spark-submit mypythonfile.py

がスパーク2.0でサポートされていません。

出典

2016-10-13 19:13:28

+0

答えをいただきありがとうございます。Windowsで行う方法を教えてください。 –

+1

@DanielRodríguez同じである必要があります。あなたがダウンロードしたsparkフォルダは 'spark-submit'ファイルを持っていなければなりません –

+0

'sc'が定義されておらず、pysparkを開いた後にspark-submitを実行すると無効な構文エラーが発生します –

4

pyspark 2.0以降、あなたが実行できるように、環境変数PYTHONSTARTUPでスクリプトファイルを実行します。これは、対話型pysparkシェルを使用する前に初期化コードを実行する場合に便利です​​答えに比べ

PYTHONSTARTUP=code.py pyspark

を。

出典

2017-08-15 13:39:13

0

ちょうどspark-submit mypythonfile.pyで十分です。

出典

2018-02-19 07:20:58 Selva

関連する問題

 関連する問題