1
私のシナリオでは、ユーザーはCSVファイルをアップロードするオプションがあり、そのCSVファイルの列を定義済みのスキーマにマップできます。ユーザーマッピングに基づいてそのCSVファイルの列を並べ替え、HDFSにアップロードする必要があります。これをNIFIプロセッサ経由で実現する方法はありますか?apache NIFIプロセッサを使用してCSV列を並べ替える方法は?
私のシナリオでは、ユーザーはCSVファイルをアップロードするオプションがあり、そのCSVファイルの列を定義済みのスキーマにマップできます。ユーザーマッピングに基づいてそのCSVファイルの列を並べ替え、HDFSにアップロードする必要があります。これをNIFIプロセッサ経由で実現する方法はありますか?apache NIFIプロセッサを使用してCSV列を並べ替える方法は?
ConvertRecord
プロセッサでこれを実現できます。予想される形式を記述するAvroスキーマをスキーマレジストリ(コントローラサービス)に登録し、CSVReader
実装を作成して、この受信データを汎用のApache NiFi内部レコード形式に変換します。同様に、出力スキーマにCSVRecordSetWriter
を使用して、好きな列順でCSVにデータを書き戻します。
レコード処理の考え方といくつかの例については、Record-oriented data with NiFiとApache NiFi Records and Schema Registriesを参照してください。
もちろん、あなたは自分のプロセッサを書いて何でもできます –