pyspark task
を送信します。そして、いくつかの.py
のファイルを別のフォルダに置いています。特に、設定ファイルと一般的なツールを1つのフォルダに入れたいのです。しかし、私はpysparkタスクを提出するとき、私はちょうど--py-files
paramを知っているので、どのようにフォルダを提出するのですか?私のコードの構造体が好き:pyspark:依存するファイルとフォルダを送信するには?
--conf folder
| --origin.conf
| --scenes.conf
--tools folder
| --utils.py
| --vali.py
-- other fodlsers...
あなたは何をしようとしましたか?何が失敗した? – Yaron
あなたはあなたのすべてのものでジップを作成する必要があります – BlackBear
@ Yaronたとえば、ファイル--plot_distribution.py--フォルダdata_analysisには、ツールimport-utilsからのステートメントがあります。このツールはフォルダでもあります。また、他のpyファイルもutils.pyに依存しているので、ファイルだけでなくフォルダも送信したい。 –