BigQueryとアプリケーションログの分析と保存のためのElasticsearch

Question

BigQueryを使用してアプリケーションのログファイルを分析するメリットについて検討しています。ログはJavaおよびC＃アプリケーションによって生成され、そのほとんどはクラウドベースのVM上に生成されます。 BigQueryとElasticSearch/Logstash/Kibanaのメリットについて、他の人がこれをやっているかどうか聞いてみたいと思います。

BigQueryの利点は、膨大な量のデータを扱うことができるように見えるのに対し、ELKソリューションは、特に異なるシステムからのログファイルの構造化されていない性質に適しているようです。

また、ダッシュボードに情報を表示したいと思います。木場はそれにはとても良いようです。 Googleソリューション（Googleシートなどを使用）を使用してダッシュボードを作成するのは簡単ですか？

考え、ユースケース？

Answer 1

ElasticsearchとBigQueryがうまく機能します。 BigQueryは、必要なだけのデータを取得し、必要なときに数秒でクエリを実行します。一方、適切に調整されたElasticsearchインストールでは、1秒未満で回答が得られますが、限られた量のデータに対する特定のクエリに対してのみ回答が得られます。

彼らは両方を使用してそれらがどのように詳細ラウンドでオリー、ことで、この記事を参照してください：

https://www.rounds.com/blog/collecting-user-data-and-usage/

の両方を行うために自分の理由を要約2曲のトップタイトル：

• でライブデータElasticsearch
• Google BigQueryを使用したビッグデータ