2017-04-02 7 views
0

私は.NET client (producer and consumer) of Apache Kafkaを使用しています。大きなメッセージを処理するApache Kafkaの.NETプロデューサクライアントを設定中にエラーが発生しました

送信できる最大メッセージのサイズを増やそうとしています。私はconfiguration manualと私の問題に関するいくつかの記事を読む:

  1. Kafka: Sending a 15MB message
  2. https://github.com/confluentinc/kafka-rest/issues/208

私はプロデューサーのプロパティ "max.request.size" を設定すべきであることがわかりました。 だから私は次のようでした:

var config = new Dictionary<string, object> 
     { 
      { "bootstrap.servers", brokerList }, 
      { "max.request.size", 10 * 1024 * 1024 } 
     }; 

     using (var producer = new Producer<Null, string>(config, null, new StringSerializer(Encoding.UTF8))) 
     { 
     ... 

しかし、私はプロデューサーを実行すると、例外がスローされます。

System.InvalidOperationException: 'No such configuration property: "max.request.size"' 

Apacheのカフカのドキュメントには、プロデューサーのこのプロパティについては、次の点に告げる:

要求の最大サイズ(バイト単位)。これは実質的に最大レコードサイズのキャップ です。サーバは のレコードサイズで独自の上限を持っていますが、これはこれと異なる場合があります。この設定により、 は、巨大な要求の送信を避けるために、単一の 要求で送信するレコードバッチの数が制限されます。

何らかの理由でドキュメントが最新でない場合、使用する適切なプロパティは何ですか?

おかげ

答えて

1

合流-カフカ-DOTNETは、Javaクライアントに設定パラメータの異なるセットを持っているボンネットの下librdkafka使用しています。これらは、ここに記載されています:

https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md

を私はあなたが探しているパラメータがmessage.max.bytes

+0

作品であると考えています。ありがとう.. –

関連する問題