カフカコンシューマ対Apache Flink

Question

私は火花ストリーミングを使用してカフカからデータを読み込んでいました。しかし、私たちの組織はApache FlinkまたはKafkaのコンシューマーを使用してApache kafkaのデータを標準プロセスとして読み込んでいます。ですから、KafkaストリーミングをKafkaのコンシューマーやApache Flinkと置き換える必要があります。私のアプリケーションのユースケースでは、kafkaからデータを読み込み、jsonデータをフィルタリングし、cassandraにフィールドを入れる必要があるので、Kafkaで処理する必要はないので、Flink /その他のストリームではなくKafkaのコンシューマを使用することをお勧めしますjsonデータ。だから私は、質問の下に理解するためにあなたの助けが必要：

1. たちは、スパークストリーミングやFLINKの場合にそうであるように、私は読んで同じ連続的なデータを得ることができ、カフカの消費者を使用していますか？

2. 私はkafkaからデータを読み込み、avro scehmaを使用して逆シリアル化し、フィールドをフィルタリングしてcassandraに入れる必要があると考えると、kafkaの消費者は十分ですか？

3. カフカコンシューマアプリケーションは、カフカコンシューマAPIを使用して作成することができます。

4. Apache flinkの代わりにKafkaのコンシューマを使用しているのであれば、私の場合は何か問題はありますか？

Answer 1

まず、のはFlinka Kafak Connectorを見てみましょう、そしてSpark Streaming with Kafka、それらの両方の仕事のためにApacheカフカからのメッセージを消費するために内部Kakfa消費者のAPI（シンプルなAPIや高レベルAPIのいずれか）を使用します。

だから、あなたの質問にについて：

1）はい

2）はい。あなたはスパークを使用している場合Howeer、あなたは、私たちは右

4）上記のように、FLINKもそのジョブにカフカの消費者を使用しています）を効率よくCassandaraに

3のデータを保存しているのに役立ちます、Spark Cassandra connectorを使用することを検討することができます。さらに、それは分散ストリームとバッチデータ処理であり、カフカからの消費後にデータを効率的に処理するのに役立ちます。あなたのケースでは、データをCassandraに保存するには、yourselveでコーディングするのではなく、Flink Cassandra Connectorを使用することを検討できます。