HBaseから読み込み、フラットファイルのコンテンツに参加してHiveに書き込むためのNiFiまたはストリームセット

Question

Apache NiFiまたはStreamsetsで結合できるかどうかを調べようとしていました。私はHBaseから定期的に読み込み、他のテーブルと結合し、Hiveテーブルにいくつかのフィールドを書き込むことができます。

または、この操作をサポートする他のワークフローマネージャツールがありますか？

Answer 1

私はストリームセットに精通していませんが、私はNiFiを手伝っていきます。フラットファイルは静的ですか？もしそうなら、あなたは値の直線的な置き換えをしたいと思っていますか？そのためにプロセッサReplaceTextWithMappingを使用できるはずです。まっすぐに置き換えない場合は、DistributedMapCacheにフラットファイルの値をあらかじめ入力してから、FetchDistributedMapCacheを使用してHBaseレコードを検索します。

他のすべてが失敗した場合は、Groovy、Javascript、Jythonなどのスクリプト言語に慣れている場合は、ExecuteScriptまたはInvokeScriptedProcessorを使用して「結合」部分を記述できます。

CSVファイル、プロパティファイル、およびメモリ内検索をサポートするルックアップ/エンリッチメントプロセッサには、open Jira case（進歩があります）があります。