直接ストリームを使用したKafka Sparkストリーミングでコンシューマグループを指定する方法

ダイレクトストリームAPIを使用したカフカのスパークストリーミングのコンシューマグループIDの指定方法。直接ストリームを使用したKafka Sparkストリーミングでコンシューマグループを指定する方法

HashMap<String, String> kafkaParams = new HashMap<String, String>(); 
kafkaParams.put("metadata.broker.list", brokers); 
kafkaParams.put("auto.offset.reset", "largest"); 
kafkaParams.put("group.id", "app1"); 

    JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
      jssc, 
      String.class, 
      String.class, 
      StringDecoder.class, 
      StringDecoder.class, 
      kafkaParams, 
      topicsSet 
    );

何かが欠けているかどうかわからない設定を指定しましたが、使用するspark1.3

出典

2016-04-08 Faisal Ahmed Siddiqui

これは実行しているのとまったく同じです。 –

「何か不足しているかどうかわからない」とはどういう意味ですか？特定の質問をしてください。何かが好き*私はライブラリZを使用してYを達成するためにXを試したが、stacktrace Sで例外Eを得た*はStackOverflowから適切である。 –

@DebosmitRay私は消費者グループを指定するためにspark kafkaの直接ストリームを使って "group.id"を試しました。例外が発生していないが、createDirectStream APIメソッドを使用しているときにこれを適切な方法で指定するかどうかを知りたいそれは今役立つか??? –

ダイレクトストリームAPIは、低レベルのKafka APIを使用するため、消費者グループを使用しません。 Spark Streamingでコンシューマ・グループを使用する場合は、レシーバ・ベースのAPIを使用する必要があります。

Full details are available in the doc !

出典

2016-04-10 12:24:40 C4stor

ダイレクトストリームAPIを使用して複数のアプリケーションでデータを使用することはできますか？各アプリケーションにデータ損失はありませんか？ –

直接ストリームを使用したKafka Sparkストリーミングでコンシューマグループを指定する方法

答えて

関連する問題