2017-10-31 8 views
0

ソースをカフカします。問題はデータはうまく動いていますが、5つのレコードをトピックに1つのファイルとして挿入しているときです。Oracleのゴールデンゲートは

グループ化します。 5インサートを製造していた場合、私は、トピックの5つの別々のエントリを必要とする(カフカ)

カフカハンドラ、ビッグデータ12.3.1

はソースにしてkhafka

以下のようにすべての挿入を取得しています中に5つのレコードを挿入アムのバージョンGGそれはそれははるかに簡単(カフカConnectを使用)などElasticsearchとしてターゲットに以降ストリーミングすること、コンフルエントスキーマレジストリとのデータのスキーマを登録するので、
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.960000","pos":"00000000030000001263","after":{"TEST_ID":2,"TEST_NAME":"Francis","TEST_NAME_AR":"Francis"}} 
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.961000","pos":"00000000030000001437","after":{"TEST_ID":3,"TEST_NAME":"Ashfak","TEST_NAME_AR":"Ashfak"}} 
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:55:04.000000","current_ts":"2017-10-24T12:55:07.252000","pos":"00000000030000001734","before":{"TEST_ID":null,"TEST_NAME":"Francis"},"after":{"TEST_ID":null,"TEST_NAME":"updatefrancis"}} 
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"D","op_ts":"2017-10-24 08:56:11.000000","current_ts":"2017-10-24T12:56:14.365000","pos":"00000000030000001865","before":{"TEST_ID":2}} 
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:57:43.000000","current_ts":"2017-10-24T12:57:45.817000","pos":"00000000030000002152","before":{"TEST_ID":3},"after":{"TEST_ID":4}} 
+0

あなたはどのハンドラを使用していますか - カフカ、またはカフカ接続?どのバージョンのGoldenGate?あなたはそれを「5つのレコードを1つのファイル」と判断していますか? –

+0

kafkaハンドラ、大きなデータのバージョンgg 12.3.1、ソースに5つのレコードを挿入し、khafkaに上記のようなすべての挿入を取得しています –

+0

私のソースに初期ロードとして100万レコードを挿入しています。 kafkaへのシングルレコードとして行くターゲットファイルで。これを避ける方法は? –

答えて

0

私は、Kafka Connect Handlerを使用することをお勧めします。

カフカでは、オラクルからの各レコードは1つのカフカメッセージになります。 .propsに下記の製

0

は= OP

gg.handler.kafkahandler.modeを提出します。

それがうまくいった!