糸のspark-submitの--archivesオプションを使用してzipファイルをアップロードする

Question

いくつかのモデルファイルを含むディレクトリがあり、何らかの理由でローカルファイルシステムのこれらのモデルファイルにアクセスする必要があります。

もちろん、--filesのオプション​​は、各エグゼキュータの作業ディレクトリにファイルをアップロードでき、動作します。

しかし、私は私が

YARN-only: 
...... 
--archives ARCHIVES   Comma separated list of archives to be extracted into the working directory of each executor. 
...... 

を言われ--archivesオプションを考え出すのでしかし、私は実際にmodels.zipをアップロードするためにそれを使用する場合、私は糸がちょうどそこにそれを入れた私のファイルのディレクトリ構造を維持したいです抽出せずに、--filesと同じように。 to be extractedを誤解したことがありますか、このオプションを誤って使用しましたか？

Answer 1

自分自身で答えを見つけました。

YARNはアーカイブを抽出しますが、アーカイブと同じ名前の別のフォルダを追加します。明確にするために、models/model1とmodels/models2をmodels.zipに入力すると、models.zip/models/model1とmodels.zip/models/model2でモデルにアクセスする必要があります。

また、＃構文を使用すると、これをより美しくすることができます。

--filesと--archivesオプションは、ファイル名をHadoopと似ています。たとえば、--files localtest.txt＃appSees.txtを指定すると、ローカルにlocaltest.txtという名前のファイルがHDFSにアップロードされますが、これはappSees.txtという名前でリンクされます。アプリケーションでは、 YARNで実行しているときに参照するappSees.txtという名前。