2016-11-13 1 views
0

pyspark taskを送信します。そして、いくつかの.pyのファイルを別のフォルダに置いています。特に、設定ファイルと一般的なツールを1つのフォルダに入れたいのです。しかし、私はpysparkタスクを提出するとき、私はちょうど--py-files paramを知っているので、どのようにフォルダを提出するのですか?私のコードの構造体が好き:pyspark:依存するファイルとフォルダを送信するには?

--conf folder 
| --origin.conf 
| --scenes.conf 
--tools folder 
| --utils.py 
| --vali.py 
-- other fodlsers... 
+0

あなたは何をしようとしましたか?何が失敗した? – Yaron

+0

あなたはあなたのすべてのものでジップを作成する必要があります – BlackBear

+0

@ Yaronたとえば、ファイル--plot_distribution.py--フォルダdata_analysisには、ツールimport-utilsからのステートメントがあります。このツールはフォルダでもあります。また、他のpyファイルもutils.pyに依存しているので、ファイルだけでなくフォルダも送信したい。 –

答えて

3
  • はコード
  • zipパッケージを整理したりegg file
  • あなたのアプリが--py-files/sc.pyFilesに卵やzipファイルを渡す提出
関連する問題