hiffsディレクトリからxmlファイルを読み込み、flowfile属性にデータを抽出するnifiプロセッサを作成したい場合は、2つのnifiプロセッサがこのファイルを取得して読み込み可能な場合がありますデータを書き込むか、何かを書き込むどうすればファイルロックを行うことができますので、一度に1つのプロセッサしか使用できません。私に助けてくれる記事、コード例、または関連する資料をお勧めしますか?私はまだカスタムプロセッサを書いていません。Nifi:カスタムプロセッサを書く方法
1
A
答えて
1
ここでは二つの質問があります。
1 - Flowfile属性にXMLを抽出する方法は?
オプション:
SplitXML -> EvaluateXPath (destination flowfile attribute) ->ReplaceText (to use the attributes)
TransformXML -> SplitJSON-> evaluateJsonPath (destination flowfile attribute) ->ReplaceText (to use the attributes)
2 - どのようにファイルを一度だけ処理されていることを確認するには? getfile/gethdfs procには、処理中にmove/remove/keepオプションを使用して、[Keep Source File]オプションがあります。あなたはそれがステージング領域に移動し、私はあなたがこのような場合にはカスタムプロセッサを記述する必要がある理由の両方GetHDFS
とEvaluateXPath
プロセッサが存在しているので、わからないと行うことができるはず
2
を処理した後に戻って移動することができます ここで必要な作業。
フローファイルの内容を属性リポジトリに格納し、フローファイルがフローを通過する際に参照ポインタのみが渡されるため、フローファイルの内容を属性に抽出するときは注意が必要です。ただし、属性はフローファイルリポジトリにインラインで格納され、高速取得のためにヒープ領域を占有します。大量のソースデータを取り込み、誤ってヒープにデータブロック全体を入れるのは簡単です。詳細はApache NiFi In Depthを参照してください。
カスタムプロセッサ開発の実行に興味がある場合は、this article by Bryan Bendeをお勧めします。参照されるバージョンは古くなっていますが、記述されたプロセスは非常にうまく機能するはずです。 Apache NiFi Developer Guideは別です。最後に、Apache NiFi Contributor Guideには、チェックスタイルの指示、開発環境の設定に関するヒントなどがあります。
関連する問題
- 1. NIFIでカスタムプロセッサを作成する方法
- 2. Apache Nifiカスタムプロセッサ(Springサポートあり)
- 3. Apache NiFi - カスタムプロセッサで複数のスレッドを設定するNullPointerException
- 4. カスタムプロセッサを追加した後にApache Nifiが起動しない
- 5. NiFiカスタムプロセッサのカスタムログ、2つの場所でのログイン
- 6. Nifi、カスタムプロセッサでハイブデータベース接続プーリングサービスが動作しない
- 7. HDF NIfi - NifiはHDPノードの出所/データを書きますか?
- 8. カスタムプロセッサをテストする方法 - Apacheのキャメル春のテスト
- 9. Syncfusion統合プラットフォーム:カスタムプロセッサをインポートする方法は?
- 10. Nifi:フローファイルに書き込む
- 11. nifi 1.0.0 - 私はMergeContent procをを拡張するカスタムプロセッサを持っているとNiFiの起動時に、私がログにこのエラーを持っている
- 12. 別のビルドシステムを使ってNiFiでカスタムプロセッサを構築することはできますか?
- 13. NiFi rest apiにクレデンシャルを渡す方法
- 14. Nifiプロセッサスケジュールを無効にする方法
- 15. Apache NiFi - ScanContent辞書形式が正しく動作しない
- 16. NIFIプロセッサーを使用してエラーメッセージをログに書き込む方法
- 17. NiFiを起動する前にNiFiのプロパティをプログラムで指定する方法
- 18. カスタムアサートPythonを書く方法
- 19. ハイブUDFを書く方法
- 20. VB.NET:Not式を書く方法
- 21. テストクラスを書く方法
- 22. svnフックスクリプトを書く方法
- 23. ビューを書く方法
- 24. アルゴリズム||プログラムを書く方法
- 25. スタティックコードアナライザを書く方法。
- 26. Django:models.pyを書く方法
- 27. リンカーを書く方法
- 28. Netty SSL:TrustManagerを書く方法
- 29. ネットワークプロトコルハンドラを書く方法
- 30. 辞書をファイルに書く方法Python?