Apache Spark on Oozie：余分な設定ファイルを提供していますか？

Question

私はHueのOozieと一緒にClouderaで動作するSparkアプリ（現在1.6.0）をビルドしています。これらのジョブを実行するユーザーは、OozieのXML設定をハッキングしたり、コマンドラインでspark-submitを起動したりするよりも、ブラウザベースのインターフェースで快適になるため、HueとOozieを使用したいと考えています。

色相（3.10）で基本的なOozie/Sparkアクションを実行する方法を理解しました。しかし、通常のScalaアプリケーションと同じように、実行時に設定ファイルを介して様々な非Sparkパラメータを提供できるようにしたいと考えています。私は、（a）Oozieが受け入れ、（b）実行時に指定されたファイルから設定パラメータを取り出すことをSparkが認識するという仕組みを見つけるのに苦労しています。

私はさまざまな順列を試みました。フエのOozieアクション「プロパティ」タブでオプションの一つとしてこれを置く：

options "-Dconfig.file=/my/file/location/fubar.conf" 

しかし、スパークジョブが設定を拾うことができない、または単に（ログに明らかな誤り）完全に失敗しません。スパーク提出使用して、コマンドラインからローカルモード（すなわちないClouderaの上）にスパークコードを実行

が動作しているようです：

spark-submit --class com.example.Sparky --master local[*] \ 
--driver-java-options "-Dconfig.file=/my/file/location/fubar.conf" \ 
target/scala-2.11/spark-dummy_2.11-1.0.jar 

だから私は、私は同等のものを提供する方法を見つける必要があると思いますランタイム設定をClouderaのOozie/Spark Actionに追加します。

誰もがこれを行う正しい方法を知っていますか？

Answer 1

Oozie Spark ActionのJavaドライバオプションとしてオプションを指定することができます。

フォームの最初のページの右上にある小さなコグ記号を使用して、さまざまなプロパティを設定するためにスパークアクションを編集できます。

コグをクリックしてフォームの2番目のページを開き、[プロパティ]タブを選択します。 「オプション一覧」で

、火花提出の例と同じJavaドライバオプションを入力します。

--driver-java-options "-Dconfig.file=/my/file/location/fubar.conf" 

だから、これはあなたがそうでなければあなたのアプリを経由して設定されることがありますあなたのスパークアプリにプロパティを渡すことができます設定ファイル。たとえば、プロパティが「app.fubar.var1」の場合は、Javaドライバオプションを使用して直接渡すことができます。

--driver-java-options "-Dapp.fubar.var1=myvalue" 

しかし、私はまだ私はこのようなOozieスパークアクションにそれを渡すと、私のスパークアプリは私の設定ファイルの場所を認識することができません。