ネットワークの復元性の高い集中型ログのベストプラクティス

Question

すべてのログを生成するサーバーは50台以上あり、rsyslog経由で第三者（Logtrust）に送信され、集中分析が可能です。 Logtrustは、リアルタイム分析も可能にします。

今のところ、私たちのアプリケーションのローカルファイルログは保管していません。これらはすべてsyslogに書き込まれ、Logtrustに直接書き込みます。

私はすべてのログをローカルに保存したくありませんが、マシンの依存関係を懸念しています。何らかの理由でログが作成されない場合（ローカル設定の問題、ローカルリレーのダウン、サードパーティサーバのダウン、ネットワーキング/ ISPの問題）、ログには表示されません。

rsyslogにローカルファイルへの書き込みとログのローテーションをさせることもできます（例：1Gb）。また、各アプリケーションでsyslogとローカルファイルに独自のティーを管理させることもできます。

このファイルの上限はどれくらいですか？私たちはローカルにログを記録すべきですか？ここで業界のベストプラクティスは何ですか？

Answer 1

複数の可能性があります。 rsyslogは非常に安定したパフォーマンスの高い製品ですので、いつでもアプリケーションをrsyslogと話し、いくつかのファイルに直接書き込まないようにすることをお勧めします。

rsyslogでは、ログメッセージに対して複数のアクションを定義できます。

Logtrustにログを送信するのは、1つのアクションです。そのアクションにはディスクアシストメモリキュー（http://www.rsyslog.com/doc/v8-stable/concepts/queues.html）が必要です。 rsyslogが一部のメッセージをLogtrustにリレーできない場合、メッセージは配信が可能になるまでrsyslogキューにバッファされます。

あなたはより多くのアクションを定義することができます。

• あなたはまた、ファイルのアクションでローカルファイルに各メッセージを書くためにrsyslogのを頼むことができます。その後、logrotateを使用して古いファイルをパージします。保持期間は、インシデントの場合に調査する時間を与えるのに十分な大きさでなければなりません。したがって、通常は3日間（週末に対応）から1週間の間です。

• 複雑であれば、社内で集中管理されたrsyslogインスタンスを設定できます。集中化されたサーバーは、すべてのアプリケーションからログを収集し、Logtrustがシャットダウンした場合のバックアップソリューションとして機能します。ローカルのrsyslogインスタンスと集中化されたrsyslogインスタンスの間で、RELPプロトコルを使用してログが失われないようにします。

• 集中管理されたインスタンスのログを効率的に検索できるようにする必要がある場合、現時点でのベストプラクティスは、ElasticsearchまたはGraylog（これはElasticsearchベース）にさらに格納することです。 Rsyslogはネイティブで両方の製品にログを転送できます。