2017-06-11 5 views
0

こんにちはHDF NIfi - NifiはHDPノードの出所/データを書きますか?

私はHDPクラスタ上でジョブ(Hive/Spark)をランチする3つのNifiインスタンスを持つHDFクラスタを持っています。通常、nifiはすべての情報をローカルマシン上の異なるリポジトリに書き込みます。

私の質問は - HDFS、ハイブ、またはスパークサービスにアクセスしている間、nifiはHDPノード(HDPクラスタのデータノードなど)にデータ、起源情報を書き込んでいますか?

おかげで

答えて

2

アパッチNiFiは、その内部のリポジトリ/データのいずれかのHDFSを使用していません。 NiFiとHadoopサービス間の唯一のやりとりは、PutHDFS、PutHiveQLなど、これらのサービスとやり取りする特定のプロセッサによるものです。

Properanceデータは、SiteToSiteProvenanceReportingTaskを使用してNiFiからプッシュできます。適切な(HDFS、HBaseなど)。

関連する問題