thiftからjsonへの変換

Question

kafkaからデータを取得しようとしていますが、そのデータは低速です。

いくつかの値を変更するためにjsonに変換したい場合、どうすればいいですか？

thiftからjsonに変換するプロセッサはありますか？

おかげ

Answer 1

ヤツェクが指摘したように、直接カフカからJSONを消費することが理想的ですが、これが不可能な場合には、ここではいくつかのオプションは次のとおりです。

1. はコマンド - を実行しますライン変換 - スリフト入力とconverts it using a JSON serializer to JSONを受け入れる単純なコンパイル済みのJavaクライアントを作成します。 ExecuteStreamCommandプロセッサを使用してこのクライアントを呼び出します。これは、NiFiのJVMにスリフトの依存関係を持たせないという利点があります。
2. ExecuteScriptを使用してNiFiで変換を実行する - Groovyスクリプト（純粋なJavaも同様に使用できます）で直接Thriftトランスフォームを記述し、ファイルを参照するか、スクリプト本体をプロセッサーに貼り付けます。これにより、プロセッサのモジュールディレクトリでThriftライブラリを利用できるようになります。
3. カスタムプロセッサを作成する - Apache NiFi Developer Guideの手順に従って、独自のカスタムプロセッサを作成し、NARをまとめてNiFiインスタンスにドロップすることができます。完全なプロセッサライフサイクル、フレームワークAPI、コントローラサービス、ユニットテストハーネスなどにアクセスできます。

幸いです。