Hadoopクラスタのデータパイプラインでシステムを監視する方法は？

Question

パイプラインへのデータ入力は、データベースまたはWebロガーから行われます。パイプラインはそれを処理してHDFSに入れ、データをNoSQLデータベースに移動します。監視システムは、この目的のためにこの終わりを監視します。

Answer 1

ELKスタック（ElasticSearch、Logstash、Kibana）を使用すると思います。各ノードで、処理、処理、およびdbへの挿入は、処理する各ファイル/レコードに関するログを追加できるかどうかを確認してください。

各ノードにlogstashをデプロイして、それらの解析ロジックを作成し、それらをElasticSearchに書き込み、Kibanaを使用してそれらを視覚化することができます。

また、エラーの場合に警告を生成するために、Elastic.coのWatcherプラグインを使用することも考えられます。

次のリンクをご利用ください。

Install EKL

Log Analysis

Alerting