巨大なデータセットを処理するために設計されたツールやアーキテクチャのリアルタイム処理を使用する方法について話している人々のビデオを読んで見ているのに多くの時間を費やしました。また、Hadoop/Cassandra/Kafkaなどのツールが何をしているのか理解しているうちに、データがこれらの大規模な処理ツールからどのようにクライアント/ Webページ上に何かをレンダリングする方法を説明するようには思えません。「ビッグデータ」からウェブページへのアクセス方法を教えてください。
私はビッグデータツールを理解しているので、標準のWebアプリケーションと同じ方法でアプリケーションを構築することはできません。これらのツールを流れるデータのサイズしかし、この「リアルタイムデータ分析」の話では、実際のアナリティクスが誰かの前にどのようにチャート/テーブル/などの形で置かれているかはわかりません。
これらの大きな処理ツールからデータを取得してクライアント/ウェブページに何かを描画する方法について説明します。
これに関して、1つの方法は、SparkまたはHadoopを使用して大きなデータを処理し、その結果をRDBMSに格納することです。次に、RDBMSからグラフ、テーブルなどをレンダリングするWebアプリケーションのプルデータを取得します。詳細情報が必要な場合は、自分で行ったサンプルを提供できます。
Impalaは、ODBC/JDBCインタフェースをサポートしています。だから、あなたは実際にあなたがMySQLでやっているのと同じ方法で、Webアプリケーションを実際に接続することができます。あなたがチェックアウトする場合があります
他のものはHBaseの、またはSolrのクーズーです。いくつかのリアルタイムアーキテクチャでは、データはそれらのうちの1つに終わる。また、すべてのAPIには、ウェブアプリケーションでデータにアクセスするために使用できるAPIがあります。
リアルタイムデータ処理と分析のための簡単なソリューションが必要な場合は、開発者がストリーミングデータを収集、処理、分析し、リアルタイムで。これは、上記で説明した種類のリアルタイムレポートダッシュボードと監視/警告システムを構築する非常に簡単な方法です。
例とこれを実装する方法の詳細については、Stride API technical docsをご覧ください。