AWSにアプリケーションログを保存する最良の方法

Question

私の会社では、私たちのプラットフォームとサードパーティのプラットフォームとの間でデータを同期する多くの自動化アプリケーションを開発しました。

今回のアプリケーションでは、ログはSqliteに保存されます。

私たちは内部のフロントエンドを通じて、同期されたデータの整合性を保証しているので、ログを毎日チェックして、考えられるすべての問題を捕捉し、（おそらく）手動で処理します。 内部フロントエンドは、日時の範囲、各アプリケーションが持つことができる異なるフロー、および各実行の流れの詳細をフィルタリングすることを可能にします。

これで、AWS上のアプリケーションのログ部分を移動して、私たちのニーズに適したサービスが不思議です。 DynamoDBはうまくいくようですが、顧客ポートフォリオを増やすと過度のコストがかかりますが、CloudWatchも選択肢ですが、システムやサービスログに関係のないオンライン記事は見つかりません。

何か手がかりがあります。おかげさまで

Answer 1

ログを処理中に短時間だけ保存する必要がある場合は、確かにそれらをDynamoDBに入れることができます。あなたの処理を行います（おそらくEMRを使用します）。ログをパージします。

ログを長期保存する場合は、 S3は正しい解決策です。あなたはAthenaまたはEMRを使用してS3上で処理を行うことができます.S3にそれらを置くことは非常に安いでしょう。

多くのデータを持っていないようですね。低IOPS用にプロビジョニングすれば、DynamoDBは最高のものになると思います。アテーナはTBのデータがあれば良いです。また、MongoDBを探索することもできます。スキーマが少ないため、多くの人がログを保存するためにこれを使用します。どのUNIXサーバにもMongoDBをインストールすることは非常に簡単です。お金を使う必要はありません.MongoDBではバックアップを取ることも簡単です。あなたはちょうど別の場所にフォルダをコピーする必要があります。完了しました。