2016-07-06 5 views
5

akkaストリームとスパークストリームをストリーム処理に使用する利点と欠点は何ですか?私はakka vs spark pros/consを厳密にストリーミングするコンポーネントを要求していません。また、私はフードフレームワークのアーキテクチャの違いの下で尋ねていません。Akka Stream vs Spark Stream

+0

SparkはAkkaをベースに構築されているため、より簡潔な構文、使いやすさ、耐障害性(監督者とは何でないか)、さらにいくつかの機能をSparkで実現しています。単一のクラスタ上に異なるアクター/フローを持つさまざまな種類のジョブを実行するなど、よりカスタムの必要がある場合は、Akka over Sparkを検討する必要があります。さもなければ、より多くの機能はおそらく良いことです。それはもっと一般的な答えです。 –

+0

私はSparkが1.5以降Akkaから離れたと考えています。 https://issues.apache.org/jira/browse/SPARK-6602 –

答えて

2

アクカストリームとスパークストリームは2つの異なる地域からのものです。 「ストリーム」という単語を混乱させないでください。

アクカストリームには、実際のレイテンシを小さくするための優れたリアクティブマニフェストと呼ばれるものが実装されています。ストリームを介して宣言的な変換を簡単に記述するための多くの演算子が用意されています。詳しくはhttps://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivationをご覧ください。

スパークストリーミング2.2は、膨大な量のデータ(ビッグデータ)を処理するための依然としてマイクロバッチアプローチです。イベントは収集され、数秒ごとに小さなバッチで定期的に処理されます。

Akkaストリームは、基本的に分散型ではなく、Spark.Akkaストリームとは異なり、クラスタ間でスケールアウトしません。アクカのアクタモデルを使用して同時性を実現します。

Akkaストリームはツールキットであり、Sparkはフレームワークです。 PS:同じ質問でも数ヶ月前のことがありました。私の答えを得るためにしばらく時間をとった。それが役に立つと願っています。