DSMSとStormとFlinkの違い

Question

DSMSはデータストリーム管理システムに対応しています。これらのシステムにより、ユーザは、ユーザによって削除されるまで連続して実行されるクエリを提出することができる。

StormやFlinkなどのシステムをDSMSと見なすことができますか、それともより一般的なものですか？彼らは異なるユースケースを解決しようとして

おかげ

Answer 1

システムのどちらのタイプには、互いにより直交しています。したがって、いずれも、他のものを包含しない、または一般化していない。

DSMSは、通常は以下のとおりです。

しばしば

最初のシステムにDSMSを外部データをインポートするために必要な

• エンド・ツー・エンドのソリューションは
• 統合ソリューションとして、ストレージや計算を提供するSQLはそれらを作るもの配向されています使いやすいですが、しばしば表現力が劣ります
• は通常、構造化データ（スキーマベースのタプル形式）のみを扱うことができます
• DSMSはしばしばスケールされません

ストリーム処理フレームワーク（FLINK、嵐、スパーク）：

• のみ他のストレージシステム
• から最もオファー言語埋め込みDSLを計算層と消費者のデータを提供する（いくつかはまた、ある程度のSQLを提供）
• は、大規模なクラスタ（ノードの数百）
に拡張する
• ビルドデータの任意のタイプ（フラットタプル、JSON、XML、フラットファイル、テキスト）を扱うことができますクランチングデータ0良い、機械学習

ストリーミングプラットフォーム（カフカ）

• は、記憶層と計算
• があればシステムにインポートされるデータの任意のタイプを扱うことができる（フラットタプルを提供し、カフカに基づいているJSON、XML、フラットファイル、テキスト）
• 拡張性と弾性
• なしSQL、JavaだけDSL（Confluent Platformは）開発者プレビューとしてKSQLを提供しています
• マイクロサービスを構築するのに非常に良い