Flafka（Http - > Flume - > Kafka - > Spark Streaming）

Question

私はリアルタイムストリーミングのユースケースを1つ持っています。メッセージバッファにはKafka（0.9）、ストリーム処理にはスパークストリーミング（1.6）を使用します）。 Httpで約80〜90K/Secのイベントを受信します。スパークストリーミングで消費されるカフカのトピックにデータを取り込むための推奨アーキテクチャをお勧めしますか？

私たちはflafkaアーキテクチャを検討しています。

FlumeがHttpを聞いて、リアルタイムのストリーミングのためにKafka（Flafka）に送信していますか？

可能であれば、他の方法もご利用ください。

Answer 1

1つのアプローチはKafka Connectです。 Look forあなたのニーズに合ったソース、またはカスタムの新しいソースを開発するソース。