2017-06-08 20 views
1

をフィルタリング私はすべての変換は、列ベースの変換であることに気づい読み取ります。 値ベースのフィルタリングが必要なユースケースがあります。たとえば:カフカ接続(単一メッセージ変換)行が

は、人々のグループの次のデータセットを検討してください。

{"firstName": "FirstName1", "lastName": "LastName1", "age": 30} 
{"firstName": "FirstName2", "lastName": "LastName2", "age": 30} 
{"firstName": "FirstName3", "lastName": "LastName1", "age": 60} 
{"firstName": "FirstName4", "lastName": "LastName2", "age": 60} 

私はlastNameのあるLastName2

これらすべてのレコードをフィルタするための私の労働者はカフカ-接続またはI使用して、それは可能ですしたいですこのユースケースのために別のプログラムを書く必要があります。

おかげ

答えて

0

あなたはシングルのメッセージが変換してこの問題を解決できない理由 - しかし、あなたは、現在出荷された変換を介して利用可能ではありません何を記述しているので、カスタム1を記述する必要があると思います。

これは、使用するときに、ここで役に立つの話であり、使用しないように、SMTS:Kafka Summit New York 2017 : Single Message Transformations Are Not the Transformations You’re Looking For (Ewen Cheslack-Postava, Confluent)

+0

は同じでした。私は、私のためにタスクを実行した行フィルタ変換を書きました。ありがとう。 – afsd

関連する問題