NiFi |フローファイル移動プロセッサーを使用して

Question

私はNiFiについて読んでいて、クエリはほとんどありません。私がローカルからHDFSにデータを移動したいというユースケースを考えてみましょう。私はgetFileとputHDFSプロセッサを使用します。

getFileに場所を渡すと、データを取得してコンテンツリポジトリに移動し、さらにputHDFSプロセッサに渡して処理を行います。

質問：私は、フローファイルの内容を見てきました

1. はバイト表現で、バイト変換はNifiによって行われない（私のソースファイルがテキストファイルである場合）？

2. データはどのようにコンテンツリポジトリからHDFSに移動されますか？

Answer 1

1）実際に変換が行われていません。GetFileプロセッサは、ソースファイルからバイトを読み込み、バイトをコンテンツリポジトリに書き込んでいます。ソースファイルの内容が何であっても、コンテンツリポジトリでは同じになります。この操作はストリーミング形式で実行され、ファイル全体をメモリに読み込まずに大きなファイルをコンテンツリポジトリに移動することができます。

2）PutHDFSプロセッサは、Apache Hadoop 2.6.2クライアントを使用して、コンテンツリポジトリからHDFSにストリームをストリームします。これは、コマンド行から "hdfs put"を実行するのと同様です。