Kafkaとinformaticaの統合

Question

Informatica BDMでKafka Data Objectsを使用する予定です。 5分ごとにKafkaのデータをInformatica BDMに読み込みたいとします。カフカがどのように読み込まなければならない現在のオフセットを認識しているかについての質問はほとんどありません。 Informaticaがインクリメンタルまたは変更されたデータをKafkaデータオブジェクトにロードする必要があるトピックのオフセットを設定できますか？ 私は以下の答えを見つけました。正確なプロセスを教えてください。 1）Zookeeperは、データがロードされている場所まで現在のオフセットを保存していますか？ 2）最後にコミットされたオフセットの後のメッセージを読み取るには、コンシューマ構成ファイルのauto.offset.resetパラメータを最大に設定する必要があります。

カフカからデータを取得する方法を教えてください。あなたの質問に答えるために

よろしく、

Srinath

Answer 1

、

1. 古い消費者のAPIがZooKeeperの中でオフセットを格納します。しかし、新しい消費者APIは、カフカの内部トピックにオフセットを保存します。
2. コンシューマ・グループ内では、カフカ・コンシューマは、デフォルトでは、最後にコミットされたオフセットからメッセージを消費し始めます。設定auto.offset.resetは、コンシューマ・グループに対してコミットされたオフセットが存在しない場合に発生します。たとえば、コンシューマが新しいコンシューマグループの一部として消費を開始すると、このコンフィグレーションはログのどこで開始するか（ログの開始またはログの終わり）を決定します。