私は、Apache SparkまたはApache Stormのいずれかを使用する必要のあるラムダとカッパのアーキテクチャについてたくさん読んでいます。バッチ処理とリアルタイム処理ができるDataTorrentという新しいツールが見つかりました。 DataTorrentがラムダ（またはカッパ）アーキテクチャのバッチとスピードレイヤを同時に実行できるかどうか疑問に思っていましたか？κアーキテクチャでdatatorrentを使用するには？
乾杯、
Apacheの頂点またはDatatorrent RTSはあなたのチームは、開発、テスト、デバッグ、および単一の処理フレームワーク上で動作させることができます。
Apache apexのドキュメントでは、κアーキテクチャについて明示的な言及はありませんが、IMOはκアーキテクチャに対応するために使用できます。
Apache apexは、フォールトトレランス、チェックポイント、リカバリの組み込みサポートを提供します。したがって、低いレイテンシで信頼できる結果を得るために、Apexの単一のデータフローDAGに頼ることができます。 ApexでDAGを使用してアプリケーションを定義するときは、バッチレイヤとスピードレイヤを別々にする必要はありません。
ただし、Apache Apexはストリーム計算エンジンの例です。完全なカッパアーキテクチャの場合、 ログストア+ストリーム計算エンジン+サービングレイヤストアの組み合わせがあります。
DataTorrentを使用すると、κアーキテクチャの要件に対応できます。バッチデータとリアルタイムストリームデータを同時に処理することができます。
Datatorrentは、ストリーミングデータがバッチで流れるSparkとは異なり、バッチデータがDAGを通るストリームのように流れる連続フローモデルです。
異なるオペレータポートを使用してさまざまな入力ソースからデータをフィードインする必要があり、データのメモリ内計算がポート上のプラットフォームコールによって処理される場合があります。
これは、2つのパイプ（入力ポート）で供給されるシンク（DTのオペレータ）を持つようなものです。