Apache Kafkaのデータストリームジェネレータ

Question

私は、Kafkaブローカのための単純なイベント/データストリームジェネレータを検索して、Hadoopフレームワークのストリーミングツールでいくつかのパフォーマンステストを実行しています。これまで何も適切なものが見つかっていない。非常に短い時間（ミリ秒）で多くの（ほとんど等しい）メッセージを送信できるはずです。

ありがとうございます！

Answer 1

カフカ0.9+に同梱されているkafka-producer-perf-test.shツールを使用することができます。それはあなたが与えられたサイズのいくつかのメッセージを生成することができます。このツールは、メッセージのバッチを送信して統計情報を収集できる単なるプロデューサです。

このテストでは、このツール（または独自のパフォーマンスプロデューサがこれに似ていますが）を使用します。負荷を増やす場合は、複数のインスタンスを異なるホストに並列実行します。