コンフルエントkafka接続HDFS APIを使用するJavaコードが必要

Question

私はkafkaの初心者です。 kafkaからhdfsにデータを書き込もうとしています。 Confluentのkafka-connect-hdfs Java APIの使用方法については、どこにも記載されていません。リンクやコードスニペットが私を助けます。前もって感謝します。

Answer 1

Java APIを使用する必要はありません。 KafkaConnectはコマンドラインまたはREST APIから使用できます。たとえJavaからコネクタを起動しても、REST APIは引き続き動作します。

一部のマニュアルあなたが始めるために：

まず、KafkaConnectクイックスタートを、ちょうどあなたのシステムは、高度な何かをしようとする前に良い形であることを確認する： http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

あなたはカフカに慣れていない場合一度 ​​

スタンドアローンより作品、分散モードに切り替えてみてくださいとRESTのAPIをチェックアウト： http://docs.confluent.io/3.0.0/connect/userguide.html#rest-interface、多分カフカのクイックスタートを早く開始

次にHDFSコネクタを試してください。クイックスタートで始まり、次のいずれか http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

やブログのチュートリアル： http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

これはあなたの方法でお役に立てば幸いです。

Answer 2

KafkaのProducer Java APIを使用して、Kafkaトピックに書き込むことができます。

kafka-connect-hdfsはトピックからのメッセージをHDFSに入れます。これはJavaコードを必要としません。瞬間のよう

$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \ 
etc/kafka-connect-hdfs/quickstart-hdfs.properties 

、カフカコネクト・-HDFSのみカフカスキーマレジストリに登録アブロデータ形式でトピックをサポートしています。あなたはそれがカフカ-接続-HDFSのクイックスタートがで示されている実行