Apache Kafkaの消費者グループとマイクロサービスはKubernetesで動作していますが、互換性はありますか？

Question

これまでのところ、私はSpringBrowserアプリケーション（Spring Cloud Streamを使用）とKafkaをサポートインフラストラクチャ（PaaS）なしで実行しています。

私たちの企業プラットフォームはKubernetes上で動作しているので、アプリケーションの拡張などを可能にするために、それらのSpring BootアプリケーションをK8に移行する必要があります。アプリケーションごとに複数のインスタンスが存在することは明らかです。各メッセージの固有の配信と処理を保証するために、アプリケーションごとにコンシューマグループを定義します。

KafkaはKubernetesの外で動作します。

私の疑問は、k8に配備されたアプリケーションは、下にあるポッドを抽象化するk8sサービスを介してアクセスされ、個々のアプリケーションポッドはk8sクラスタの外部に直接アクセスできないためです。メッセージを配信するために消費者グループの個々のインスタンスを呼び出すのですか？

どのように連携させることができますか？

Answer 1

カフカブローカーは、クライアントにデータをプッシュしないでください。むしろクライアントはpoll（）を呼び出し、ブローカからデータを取得します。コンシューマーがブートストラップサーバーに接続でき、クライアントが接続してpoll（）できるIPとポートを宣伝するようにKafkaブローカーを設定すれば、すべてうまく動作します。

Answer 2

Spring Cloud Data Flowは、デプロイされたインスタンスの数を制御するための要件を解決できますか？

と、コミュニティがあるがOpenShiftのための春のクラウドデータフローサーバをリリース： https://github.com/donovanmuller/spring-cloud-dataflow-server-openshift