3
HDFSシンクコネクタを使用してKafka-Connectを使用してデータをストリーミングしようとしています。スタンドアロンモードと分散モードの両方が正常に動作していますが、HDFSへの書き出しは一度だけ（フラッシュサイズに基づいて）行われ、後でストリーミングされません。私が何かを逃している場合は助けてください。Kafka Connect HDFSシンクの問題
コンフルエント2.0.0 &カフカ0.9.0
A
答えて
2
私は、パラメータ以下、この問題の長いback.Justチェックが
接続-HDFSシンクプロパティ
「logs.dirが欠落している直面"："/hdfs_directory /データ/ログ」
"request.timeout.ms"： "310000"
"offset.flush.interval.ms"： "5000"
"heartbeat.interval.ms"： "60000"
"session.timeout.ms"： "300000
" 最大。 poll.records "：" 100 "
関連する問題
- 1. Apache-Kafka-ConnectのコンフルエントHDFSコネクタ、不明なマジックバイト、Kafka-To-Hdfs
- 2. Apache Flume + Hdfsシンク
- 3. Kafka Connectのシンクとソースの設計方法
- 4. Kafka JsonConverterを使用してJSON形式のHDFSシンクを接続します。
- 5. Kafka-connect-hdfs：小さなファイルとrotate.interval設定の違い
- 6. Kafka Connect - ファイルソースコネクタエラー
- 7. Kafka Connect HDFS - それを動作させるには？
- 8. HDP 2.4でKafka-Connect-HDFSをセットアップして使用する方法
- 9. Kafka-ConnectとFilebeat＆Logstash
- 10. Kafka Connect Logstash
- 11. Flume - Hdfsシンク出力ディレクトリのアクセス許可
- 12. facebook connectセットアップ問題
- 13. Kafka Connect + Zookepeer not connecting
- 14. 実装の問題HDFS
- 15. Kafka Zookeeperインストール問題
- 16. コンフルエントなkafka connectを使用するETL
- 17. iTunes Connectのアップロードビルドの問題
- 18. KafkaのトピックとHDFSの接続
- 19. kafka-connect-jdbc日付時刻
- 20. 何を使用すればいいですか：Kafka StreamまたはKafka consumer APIまたはKafka connect
- 21. kafka connectを使用するベストプラクティス
- 22. Facebook Connect - publishUserActionテンプレートの問題
- 23. SPA OpenID Connectセキュリティの問題
- 24. Distributed Kafka Connectトピック構成
- 25. Kafkaストリームスタートアップの問題 - org.apache.kafka.streams.errors.LockException
- 26. Python kafkaコンシューマグループIDの問題
- 27. Apache KafkaプロデューサコンシューマAPIの問題
- 28. IE8 Win7 Facebook Connect問題
- 29. spark-streamin kafka connectとelk stack
- 30. kafka-connectを使用した複数のハイブパーティション
ありがとうございましたGaurav。私はlogs.dirプロパティを見逃しました。うまく動作し、データをストリームできるようになりました。 –
'max.poll.records'ではなく' consumer.max.poll.records'ですか？ –