がDCOSに火花提出複数のjarファイルを渡す、コンマで瓶が提出DCOSスパークにjarファイルの多くを渡す必要があり、適した

Question

uggestionsは必要ない分離、カンマで瓶は適していません区切ら：オプションの下にしようとしました

：

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars /spark_submit_jobs/new1/unzip_new/* 30' 

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars local:* 30' 

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars https://s3-us-west-2.amazonaws.com/gmu_jars/* 30‘ . 

最後の1つは動作しませんbcz httpでワイルドカードが使用できないと思います。

Answer 1

私が知っている限り、あなたはワイルドカードを使うことができないし、Sparkが分散してアクセスできる場所（S3、http、hdfsなど）にJARを置く必要があります。

は

• http://spark.apache.org/docs/latest/submitting-applications.html#launching-applications-with-spark-submit

application-jarを参照してください：あなたのアプリケーションとすべての依存関係を含むバンドルされたjarファイルへのパス。 URLは、クラスタ内でグローバルに表示する必要があります（たとえば、すべてのノードに存在するhdfs：//パスまたはfile：//パス）。 DC/OSから

Answer 2

更新：

--jarsはdcos spark run（スパーククラスタモード）を介してサポートされていません。 Sparkのディスパッチャーの代わりにSparkをMarathonに移動すると、〜DC/OS 1.10をサポートします。一方、 - jarsを使用する場合は、メトロノームまたはマラソンによるspark-submitを使用してクライアントモードでジョブを送信する必要があります。

Answer 3

​​に--jars引数のワイルドカードを使用することはできません。 Here's（まだ開いています）の機能要求です。