カフカ接続チュートリアルでは、私はステップ＃7は、このリンクで（使用カフカの接続は、/エクスポートデータをインポートするために）従っていました

Question

を動作を停止：私は「test.txtという」を削除するまで

http://kafka.apache.org/documentation.html#quickstart

これはよく働いていましたファイル。主にlog4jファイルの動作方法です一定の時間が経過すると、ファイルが回転します。つまり、名前が&に変更され、同じ名前の新しいファイルが書き込まれます。

しかし、「test.txt」を削除した後、コネクタが機能しなくなりました。私はコネクタ、ブローカー、動物園などを再起動しましたが、 'test.txt'の新しい行は 'connect-test'のトピックにはなりません&したがって、 'test.sink.txt'ファイルには行きません。

どうすればこの問題を解決できますか？

Answer 1

コネクタは "ファイルから最後に読み取った場所"のタブを保持しているので、ファイルを読み取っている間にクラッシュする場合は、中断した場所から続けることができます。

問題は、オフセットを0にリセットせずにファイルを削除したため、新しいデータが最初から特定の文字数で表示されるのを待つため、基本的に新しいデータは表示されません...

オフセットをリセットする場合の回避策。スタンドアロンモードで接続を使用している場合、オフセットはデフォルトで/tmp/connect.offsetsに保存されます。そこから削除するだけです。

長期的には、より良いファイルコネクタが必要です。