0

現在、私はWindowsマシンを使用しており、Kafkaプロデューサとコンシューマを使用してコマンドプロンプトでファイル全体を読み取ることができます。最近のファイルの変更だけを取得し、Apache flinkの入力としてそれを使用する必要があります。私はthis linkを使ってみましたが、kafkaクライアントjarの不一致の問題のために、私はそれを使用できませんでした。kafkaプロデューサを使用してファイルから新しい変更を読み取る方法

私の現在のアプローチでは、ファイル全体をロードするたびに私のプロデューサを呼び出すときに、毎回ファイルを変更したことを確認するために実行する必要があります。私はスレッドとJavaコードを使用してファイルの違いを比較するいくつかの方法を使用すると思ったが、カフカだけで行うのいずれかです。

答えて

1

私は最近、同様の問題があった(が、Linuxで)及び方法以下のそれを解決:お使いの場合には

tail -f somefile.log | kafka-console-producer.sh ... 

あなたは、Linuxの尻尾にはいくつかのWindows選択肢試すことができます。13 Ways to Tail a Log File on Windows & Linux

関連する問題