Spark Streamingはどこで実行されますか？

Question

私が理解するように、SparkはSpark Streamingでストリームを分析できます。 そして、カフカは複数のソースからデータを受け取ることができます。 私が理解できないことは、複数のソースからデータを受け取っているKafkaクラスタを持っている場合、Spark Streamingを実行しているデータベースにデータを送信するのでしょうか？ Spark Streamingはアプリケーションサーバー上で動作していますか？

Answer 1

Spark Streamingを使用する場合は、Sparkクラスタを設定し、Spark Streamingジョブをクラスタに送信します。したがって、あなたは2つのクラスター：Kafka + Spark（または実際には3、KafkaのZookeeperクラスターも必要です）にする必要があります。