IoTストリーミングアーキテクチャ

Question

IoTとデータストリーミングについて学び始めました。この質問があまりにも明白または一般的すぎるようである場合はお詫び

私は数百（おそらく数千）のIotセンサーからデータをストリーミングし、そのデータをデータベースに格納し、そのデータをWebベースのUIに表示するために取得するというプロジェクトに取り組んでいます。注意すべき

物事は以下のとおりです。

1. フォールトトレランスと不完全なデータエントリを受け入れる能力
2. データベースはストリーム

によって

をロードする機能とクエリデータを持っている必要が

私は、これらの要件をサポートできるアーキテクチャを構築する方法に関するいくつかのアイデアをGoogleで見てきました。ここで私が考えているものです。

1. センサデータは FluentDによって収集され、ストリームに
2. Apacheのスパークに変換され MongoDBのサーバ
          のクラスタを管理します。 MongoDBサーバーが同じストレージに接続されています。
           b。 スパークは、UI/Webアプリケーションからのクエリを処理するために使用されます BigQueryの
サーバ MongoDBの のバランスフォールトトレランスと負荷を処理します。

my current idea of a IoT streaming architecture

質問は今、このアーキテクチャが実現可能であるか、またはそれがすべてうまくいくかどうかです。私はどんなアイデアや提案にもオープンしています。

ありがとうございます！

Answer 1

デバイスデータを直接BigQueryにストリーミングして、中間のバッファリングステップを回避できることにご注意ください。

参照： https://cloud.google.com/bigquery/streaming-data-into-bigquery