2016-09-08 15 views
0

私はJDBCカフカコネクタを使用してデータベースからKafkaにデータを読み込みます。それは動作しますが、JSONを使用するように指定していても、常にAvro形式でデータを出力します。私はPythonでそのトピックからメッセージを消費すると、各メッセージの先頭にスキーマが表示されるので、これを行うことがわかります。カフカJSONを出力しない接続

私はこのようなコネクタを実行します。

/usr/bin/connect-standalone /etc/schema-registry/connect-json-standalone.properties /etc/kafka-connect-jdbc/view.properties 

connect-json-standalone.propertiesファイルの内容は次のとおりです。

bootstrap.servers=localhost:9092 

key.converter=org.apache.kafka.connect.json.JsonConverter 
key.converter.schema.registry.url=http://localhost:8081 
key.converter.schemas.enable=true 
value.converter=org.apache.kafka.connect.json.JsonConverter 
value.converter.schema.registry.url=http://localhost:8081 
value.converter.schemas.enable=true 

internal.key.converter=org.apache.kafka.connect.json.JsonConverter 
internal.value.converter=org.apache.kafka.connect.json.JsonConverter 
internal.key.converter.schemas.enable=false 
internal.value.converter.schemas.enable=false 

# Local storage file for offset data 
offset.storage.file.filename=/tmp/connect.offsets 

と/ etc /カフカ-接続の内容-jdbc/view.propertiesです:

name=view-small-jdbc-daily 
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector 
tasks.max=1 
connection.url=jdbc:teradata://domain.com/charset=UTF8,DBS_PORT=1025,DATABASE=test,USER=***,PASSWORD=***,LOB_SUPPORT=OFF 
mode=bulk 
table.whitelist=test_table 
topic.prefix=view5- 
+1

converter.schmas.enable = falseに設定してみましたか? – dawsaw

答えて

1

あなたの構成内の2つの問題:

  1. JSONConverterを使用している場合、スキーマレジストリを設定する必要はありません。これはAvroConverter用です。したがって、key.converter.schema.registry.urlvalue.converter.schema.registry.url
  2. を削除することができます。key.converter.schemas.enable=truevalue.converter.schemas.enable=trueがあるため、JSONにスキーマが含まれていることに驚かないでください。あなたはそれを含めるように指定しました。スキーマを必要としない場合は、false
関連する問題