Apache Kafkaをファイルウォッチのシステムとして使用できますか？

ソースパスとコピー先パスがHDFSにあります.OutStreamはソースパスにファイルを置きます。コピー元ファイルソースパスからデスティネーションパス。Apache Kafkaをファイルウォッチのシステムとして使用できますか？

ここでは、シェルスクリプトを使用しています。しかし私はその間にカフカを使いたいと思っています。私はそれについて研究し、HDFSシンクコネクタだけを見つけました。 HDFSのソースコネクタはありません。

私の質問はここでカフカを使用することができますか？

2017-09-27 PranayReddy

この使用例では、私はあなたがカフカを必要としないと思います。これを行うための様々な方法があり、一つの方法たとえば、あなたはゲッターが見たイベントでトリガー飼育係のウォッチャー・インタフェースを使用して、プログラムの代替として、あなたのプログラム

からHadoopのためのコピーを発射することができ、Hadoopの2.6はDFSInotifyEventInputStreamあなたの導入しますこれに使用することができます。 HdfsAdminからそのインスタンスを取得し、.take（）または.poll（）を呼び出してすべてのイベントを取得し、実行可能なイベントに基づいて実行することができます

出典

2017-09-27 16:23:45

Apache Kafkaをファイルウォッチのシステムとして使用できますか？

答えて

関連する問題