KafkaソースとSpring CloudのHDFSシンクデータフロー

Question

私はKafkaをソースとして使用しており、HDFSシンクを使用してHDFSにメッセージを書きたいと思っています。しかし、HDFSで作成されたファイルが表示されていますが、 HDFSファイルに書き込まれていません。ストリームDSLを以下で見つけてください。

stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream 

私はこれを解決してください。

Answer 1

データがまだhdfsディスクに書き込まれていない可能性があります。あなたはテスト中にフラッシュ/シンクを強制することができます。 --hdfs.enable-sync=true --hdfs.flush-timeout=10000を設定すると、バッファがいっぱいになっても10秒ごとにデータがhdfsに書き込まれます。