BigDataパイプラインのパフォーマンスをエンドツーエンドでテストするツールはありますか？

Question

私は、このパイプラインを持っている：Kafka-> Logstash-> ElasticSearch-> Kibana

私は、スクリプトの「bin/kafka-producer-perf-test.sh」で呼び出すことができるプロデューサーのパフォーマンスツールを発見しました。

誰かがパフォーマンスのエンドツーエンドテストをテストするための提案があったのでしょうか？

ありがとうございました。

Answer 1

パイプラインKafka->Logstash->ElasticSearch->Kibanaには4つのコンポーネントが含まれています。 Kafka、Logstash、ElasticSearch、Kibanaなどがあります。各コンポーネントには、異なるパフォーマンス番号と特性があります。

bin/kafka-producer-perf-test.shあなたは、カフカの性能だけを測定するカフカ性能テストツールがあります。上記のテストツールを使用して生成されたデータを読み込み、処理して表示するようにパイプラインを設定した場合は、パイプライン全体のパフォーマンスを得ることができます。このようにして、パイプラインの制限コンポーネントを見つけることができなくなります。

レプリケートに、パイプラインで必要とされる同様のデータを設定することをお勧めします。カフカのカスタムプロデューサー - PepperBoxはそのための良いツールです。 influxDB/graphite（または任意のtimeseries DB）を使用してすべてのコンポーネントを監視し、エンドツーエンドのスループットとコンポーネントのスループットを測定します。

サンプルベンチマークはYSBです。これはあなたが始めるのに役立ちます。