複数のSpark ExecutorでZookeeper設定を共有する

Question

私はZookeeperで書かれた設定情報を持っています。私はApache Curatorを使用して設定を読み込みます（それを読むためのより良いソリューションがあれば、それをCurve Watcherと一緒に使えます）。Zookeeperで設定が変更されたら、新しいものを受け取ります。私はSparkでこの設定を使用しています。同じアプリケーションのすべてのエグゼキュータをどのように共有することができますか？

ありがとうございました！

LE：

はあなたがウォッチャーの実装を行うだろうDikei、次のコードで

を、ありがとう！私はスパークするために新しいですし、私は確かに各作業員に何が行くのか分からない。

ありがとうございました！私はこのような場合にはどうなるのか

final JavaDStream<ElementMessage> nodeMessageStream = mapWithStateDistinctAndFiltered.flatMap(pair -> pair._2.buildElementMessages()) 
      .filter(f -> f != null); 

    nodeMessageStream.foreachRDD(rdd -> { 
     rdd.foreachPartition(r -> { 
      final ElementRecordRestClient rest = new ElementRecordRestClient(
        startProps.getProperty(InputPropertyKey.WEPAPP_URL.toString())); 
      r.forEachRemaining(message -> { 
       rest.createObject(message.toElementRecord()); 
      }); 
     }); 
    }); 

Answer 1

は、マスターノードでキュレーターウォッチャーを実行し、スパークの放送変数を使用して、すべてのエグゼキュータに設定をブロードキャストすることです。設定が変更されると、現在のストリーミングコンテキストを停止し、新しい設定で新しいストリーミングコンテキストを開始します。これにより、結果が常に一貫していることが保証されます。

もう1つの方法は、foreachPartitionラムダ機能の中で飼いょう動物園の設定を読むことです。しかし、構成は各パーティションで独立して読み込まれるため、同じRDDの異なるパーティションで異なる構成が得られる可能性があります。