BigData Pipelineをエンドツーエンドでテストするツールはありますか？

Question

私は、このパイプラインを持っている：+ rsyslog-> Kafka-> Logstash-> ElasticSearch-> Kibana

Webサーバーは、これらのツールは、私のパイプラインのテストを助けるために私を発見した：

1. のJMeterをスピンアップにより、Webサーバの負荷を生成jmeter-ec2
2. とのEC2インスタンスはカフカの負荷を生成し、誰もがテストコンポーネントのための他の提案があった場合、私は疑問に思ってSangrenel

でグラフスループットを助けますまたはエンドツーエンドのテストですか？ありがとう。

Answer 1

大きな質問！私は似たようなものを探していますが、シンプルな家庭の解決策で解決するかもしれません。

1. データをKafkaに書き込むボルトでストームクラスタを設定します。あなたのメッセージが複数のパーティションに分散されるように、注意すべき点の1つはid/keyです。ストームの理由は、出版社のセットを配布することです。 Stormの代わりに、複数のプロデューサーを配置することができます。KafkaAppender
2. カフカのパフォーマンスがわかったら、Logstashをロードしたトピックに接続し、できるだけ早く排水させてください。あなたは、弾性を監視する
3. 最も簡単な方法は、Kibanaの
4. パフォーマンスデータクエリが返すの量に依存するが、最小の間隔はまだ5秒であるマーベル
である（そのための多くのツールを）KafkaManagerでいくつかの有用な情報を見つけるか、JMXに接続することが。

私の経験では、logstashのパフォーマンスはデータサイズとgrokの複雑さに依存します。 Elasticのパフォーマンスは、主にクラスタサイズ、シャード/テンプレート構成です。設定の中で最速のコンポーネントは、常にカフカ（ackとZookeeperの設定で制限されています）です。

また、データ生成を制御する場合、生成されたレコードの時間とlogstashの@timestampと測定遅延を比較できます。