Apache NIFI for ETL

Question

ソースがHDFS &の宛先をOracle DBとして持つETLプロセスにApache NIFIを使用すると効果的です。

Answer 1

haddopとoracleの間の媒体としてApache NIFIを使用すると、nifiはHadoop環境とOracle DB間の応答時間に依存します。このsqoopは正しいコンポーネントです。この大規模なvoulumesにnifiを使用してHDFSとOracleとの間でデータを転送しています。私はボトルネックだけがメモリすなわちRAMであることがわかります。 NIFIは純粋にJava上で動作し、それは吸うかもしれませんし、また、sqoopのような並列処理の概念を利用しないかもしれません。 nifiプロセッサは実行時にデータを処理するためのJavaスレッドであり、データのストリーミングにはnifi適合です。