私は、データストリーム上でマシンラーニングアルゴリズムを実行するためのPOCをやっています。
Spark Streaming - >複数のテーブルのデータを集計 - > Stream of Data上でMLLibを実行する - >出力を生成するというデータを取得するのが最初のアイデアでした。カフカストリーミング+スパークストリーミング+マシンラーニング
しかし、私はコンフルエントのカフカストリーミングを見ています。今私は混乱している！
質問：
1. Spark StreamingとKafka Streamingの違いは何ですか？
2.私はKafka Streaming + Spark Streaming + Machine Learningとどのように結婚することができますか？
3.私の考えは、バッチ訓練ではなく、テストデータを連続的に訓練することです。
お勧めします。
Apache Kafka Steamsはライブラリであり、埋め込み可能なストリーム処理エンジンを提供します。ストリームアプリケーションの処理にはJavaアプリケーションで使いやすく、フレームワークではありません。
私はいくつかのユースケースを約、さらにはcomparison with Apache flinkというカフカの著者から見つけました。
まず、「コンフルエントのカフカストリーミング」という用語は技術的に正しくありません。 （とは、コンフルエントによる）Apache Software Foundationのが
しかし、Confluentは、Kafkaストリームを含むApache Kafkaに多くのコードを提供しています。違いについて
（私はいくつかの主な違いを強調し、さらに詳細については、インターネットやドキュメントを参照してください：http://docs.confluent.io/current/streams/index.htmlとhttp://spark.apache.org/streaming/）
スパークストリーミング：
カフカストリーム
は、このように両方を「結婚」するいかなる理由がありません。
私の個人的なテイクは、そのスパークはストリーム処理には適していません。 Kafka StreamsやApache Flink、Apache Storm、Apache Apexなどのフレームワークのようなライブラリを使用したい場合は、ユースケース（と個人的な好み）によって異なりますので、SO 。
カフカストリームの主な差別化要因は、ライブラリであり処理クラスタを必要としないことです。 Apache KafkaはApache Kafkaの一部であるため、Apache Kafkaを既にインストールしている場合は、余分な処理クラスタを実行する必要がないため、全体的な配置が簡単になります。
私は最近、このトピックについての会議で発表しました。
Apache Kafka StreamsまたはSpark Streamingは、通常、ストリーム処理（動作中のデータを処理）を介してリアルタイムで新しいイベントに機械学習モデルを適用するために使用されます。 Matthiasの答えはすでにその違いを論じている。
最初に Apache Spark MLlib（またはH2O.aiまたはXYZ）のようなものを使用して、ヒストリカルデータセットを使用して最初に分析モデルを構築します。
カフカストリームは、モデルのオンライントレーニングにも使用できます。しかし、私はオンライントレーニングにはさまざまな注意点があると思います。
このすべてについては、スライドデッキ「」で詳しく説明しています。