Hadoopからログファイルを視覚化する方法は？

Question

Big Dataの初心者ですから、Hadoopのログファイルからデータを視覚化するためのダッシュボードアプリケーションを構築する方法はわかりません。周りに検索した後、私はいくつかの解決策を考えることができます：

1 /ストリーミングデータ

を摂取するカフカを使用して

2 /ストリームデータ処理：ストリーミングスパークまたはApache FLINK

3 /フロントエンド - >データを視覚化する：d3jsを使用

私に何かが不足していますか？私が使用すべきスパークとフリンク？ 私は、Ambari、HDP 2.4.2、HDFS 2.7、YARN 2.7、Spark 1.6、Kafkaをインストールしました。

可能であれば、そのようなアプリケーションを作成するためのチュートリアルを教えてもらえますか？どの本やコース？

ありがとうございました。

P/s：
私はdatabrickのgitの本を読んだことがありますが、それは唯一のスパークと言われています。私はFlink、Elasticsearch、Kibanaを使って分析する方法をいくつか教えていますが、Ambari Serverと組み合わせる方法については触れていません。

Answer 1

Ambari Log Searchの機能を見ることができます：https://github.com/abajwa-hw/logsearch-service visualizesログ。