2017-08-14 2 views
0

私はからのデータ摂取を作成しています:MySQLのカフカELKスタック日発行

MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana

で「日付」欄に対処しながら、私はKibanaまでのMySQLからのパイプラインデータにできていますが、私は問題に直面していますMySQLテーブル。

カフカのトピックとESドキュメントで、日付列がEPOCHの日付として表示されています。

「Elasticsearch/Logstash」の日付フォーマット「yyyy-mm-dd」に変換できますか?

答えて

0

質問に直接答えるには:Elasticsearch動的テンプレートを使用して日付フィールドをdateと定義し、Elasticsearchがエポック値を正しく解釈します。

あなたはLogstashがまったく必要ないことをご存知ですか? Kafka ConnectにはElasticsearchシンクを使用できます。これはseparately、またはConfluent Platformの一部として入手できます。 https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/

:( - - >カフカ> Elasticsearch MySQLの)あなたは、私は、まさにこのパイプラインを構築しており、ここに書いているこのブログシリーズをフォローしたいでしょう

関連する問題