lambda-architecture

1熱

1答えて

私は、予測的なメンテナンスのためのリアルタイムアプリケーションを構築したいと考えています。私はPhoenixでHbaseを使うことを考えました。 PhoenixはHBase上にSQLレイヤーを提供します。私はHbaseが1億行プラス++のようなビッグデータに適していると読んでいます。しかし、私のアプリケーションデータには現在データがありません。冒頭に少量のデータしかない場合、Hbaseデ

1熱

1答えて

カッパアーキテクチャとラムダアーキテクチャの違い

カッパアーキテクチャでは、データを2つのストリームに分割するのではなく、ストリームで直接解析すると、カッパのようなメッセージングシステムではどこにデータが格納されますか？データベースを再計算することはできますか？バッチ分析用にストリーム処理エンジンを使用して再計算するよりも、別のバッチレイヤが高速ですか？リアルタイムデータおよび履歴データに適用されるアルゴリズムが同一であるときに考慮すべき非常

2熱

2答えて

κアーキテクチャでdatatorrentを使用するには？

私は、Apache SparkまたはApache Stormのいずれかを使用する必要のあるラムダとカッパのアーキテクチャについてたくさん読んでいます。バッチ処理とリアルタイム処理ができるDataTorrentという新しいツールが見つかりました。 DataTorrentがラムダ（またはカッパ）アーキテクチャのバッチとスピードレイヤを同時に実行できるかどうか疑問に思っていましたか？乾杯、

1熱

1答えて

バッチ層：Sparkはマスターデータから新しいデータをどのように読み込んで処理しますか？

私はラムダアーキテクチャを構築しています。私はストリーミングレイヤーをコーディングしましたが、今はバッチレイヤーをやっています。そのために、Spark 2をバッチプロセッサとして、HDFSをマスターデータとして使用しています。がHDFSからデータを読み取るには、私は以下のコードを書いた：このコードで、しかし SparkSession spark = SparkSession .

1熱

1答えて

不変データは最終的な一貫性をどのように自明にしますか？

私はラムダアーキテクチャでCAP定理を打ち負かす方法についてNathan Marzのarticleを読んできましたが、最終的な一貫性がどのように変わらないのかを理解していません。次の段落は、記事から取られる：キーはデータが不変であるということです。不変のデータとは、更新のようなものがないことを意味します。したがって、データの異なる複製が矛盾することは不可能です。これは、発散値、ベクトルクロック

0熱

1答えて

ラムダアーキテクチャで履歴データを保存するためにApache Kafkaをバッチレイヤーとして使用できますか？

ストレージシステムとしてのカフカは、長期データ用のデータストアにすることができます。それは問題なく複製し配布することができます。ですから、カフカのすべての履歴データからRDDを作成し、バッチビューを作成してSpark Streaming Viewsと組み合わせることはできますか？