完了後にSparkでジョブを再送信するには？

Question

私は現在、スパークストリーミングを使用していません。私はETLパイプラインを持っており、完了した後に仕事を再提出するだけです。典型的なcronジョブと同じですが、Spark APIのみを使用しています。それは可能ですか？

Answer 1

チェックSparkLauncherと、このような何か試してください：あなたはSparkLauncherでプログラム的にジョブを送信することができます。これにより

import org.apache.spark.launcher.SparkLauncher; 

public class MyLauncher { 
    public static void main(String[] args) throws Exception { 

     while(true){ 
      Process spark = new SparkLauncher() 
      .setAppResource("app.jar") 
      .setMainClass("package.MainClass") 
      .setMaster("local") 
      .setConf(SparkLauncher.DRIVER_MEMORY, "1g") 
      .launch(); 
      spark.waitFor(); <-- Causes the current thread to wait, if necessary, until the process represented by this Process object has terminated. 
     } 
    } 
} 

を。 launch()はjava Processを返します。処理が完了するまで待ってから、whileでジョブを再送信してください。

私は​​が単独でジョブを再開できることに気づいていません。