データ変換とLogstash

Question

私はlogstashに関してかなり建築的な質問があります。

私たちには、非常にわかりにくいハードウェアデバイスによって生成されたログファイルがあります。 JSONをelasticsearchに送信する前に、ある種の変換と拡張が必要です。例えば、私は何か可読性に変換される数の配列を取得します。いくつかの種類の列挙型変換。

これらの変換を行うとさらに複雑になることがあります。たとえば、変換を行う際に考慮する必要がある各デバイス用の設定ファイルがあります。

• 小さなウェブサーバとしての私自身のlogstash・フィルタ・プラグイン
• 使用logstashを実装してみませんか
• プラグインlogstashフィルタ-変異させる使用：

  今IMOこれを達成するための3つの意見があります変換前に

これらの方法での経験はありますか？あなたは何を好きで、なぜですか？

BW Hubert

Answer 1

まず、私はあなたに同意します。あなたは何か（ログ・スタート・フィルター、ビート、...）でデータを操作し、どこかに（elasticsearchまたは別のログ・スタッシュ）転送します。

私の意見では、logstashはプロダクションサーバーには重すぎます。私たちは以前に使ったことがあり、あまりにも多くのリソースを使います。 Elasticsearchはこれを処理するBeatsを持っています。 （私はそれがこの状況だけではないことを知っています。）beatsを使ってファイルからログを収集することができます。あなたのケースでは、すでに存在するものを使用するのに極端な問題があります。ログは秘密です。すでにデータを暗号化できる場合は、カスタムビートを最小限のソリューションに書き込むことができます。私はこれがlogstashプラグインを書くより簡単かもしれないと思うが、Golangというもう一つの課題がある。私はlogstashプラグインについて知らないけど、前にbeatと書いています。あなたは優秀なbeats documentationをチェックして作成することができます。

システムのビートを作成した後、ログをlogstashに転送することができます。 thisに関する文書があります。また、実際の例についてはthis repoのファイル構成を確認することもできます。