ELKスタックを使用しているときに、木場のデータストアにデータを直接プッシュできますか？

私はいくつかのフィールドを取り、結果に対してクエリとデータ操作を実行するジョブプロセッサ（node.js）を持っています。結果はRabbitMQキューに出力されます。私はブンヤンと一緒に伐採を設定しました。

ここで結果を記録します。このログの一般的なレコードは次のようになります。

{ 
"queryTime": 1460135319890, 
"transID": "d5822210-8f87-4327-b43c-957b1ff96306", 
"customerID": "AF67879", 
"processingTime": 2345, 
"queryStartDate": "1/1/2016", 
"queryEndDate": "1/5/2016" 
"numRecords": 20, 
"docLength": 67868 
}

組織には既存のELKスタックが設定されています。私はRedisの十分な経験があり、ELKスタックのRedisインスタンスに必要なデータをプッシュするだけで非常に簡単です。 logstashを設定し、その設定で迷惑をかけるよりもずっと簡単です。

私はcustomerID、processingTime、numRecordsの各フィールドを視覚化したいと思います。木場はこれにふさわしいでしょうか？ LogStashを使いこなすのではなく、直接データをプッシュできますか？

出典

2016-04-08 jcollum

木場には独自のデータストアがなく、Elasticsearchのデータストアに依存しています。 Kibanaは、Elasticsearchに格納されたデータを使用して視覚化を行います。

したがって、elasticsearchをバイパスして、直接、赤鼻ログを木場に押し込むことはできません。 redisのログを解析するには、Logstash & Elasticsearchを使用してデータをプッシュする必要があります。

アプローチ：Logstashを使用して、入力にredisプラグインが含まれるlogstash構成ファイルを作成します。出力にはelasticsearchプラグインが含まれます。

キバナは、組織の設定と同期して&も達成したいと思うものと同期しているように見えるオープンソースツールです。

出典

2016-04-10 12:38:37

、なぜ単に弾性にデータを直接押さないでOK？どうして私はログオンが必要なのですか？私はデータをロギングしていないので、このデータをログに書き込むだけで、ロスタッシュはそれを読むことができます。 – jcollum

以前のデザインでは、データをelasticsearchに直接入れる川がありました。しかし、これらの河川は、クラスタの問題がほとんど発生しないため廃止されました。リファレンスリンク： - https://www.elastic.co/blog/deprecating-rivers ほとんどの川がLogstash Inputプラグインに移行しました。 –

Logstashをバイパスして、データを直接プッシュできるようにnode.jsのネイティブサポートを提供します。

（開示 - 私はLogz.ioでエバンジェリストです）

出典

2016-04-11 06:51:23

私はlogz.ioを約10秒間ロードしてくれました。いい兆しではありません。 – jcollum

申し訳ありません。おそらく接続性？文字通り何百もの人々が1秒未満の応答時間に繋がっているので、あなたの経験についてもっと聞くのが大好きです... –

ELKスタックを使用しているときに、木場のデータストアにデータを直接プッシュできますか？

答えて

関連する問題