2017-11-15 6 views
1

kafkaが新しく、KCQLクエリがjson配列をサポートしているかどうかを知りたがっていますか? は私がinfluxdb 私はData Mountaineer KCQLがJsonアレイをサポートしています

[{"timestamp":"2017-10-24T12:43:39.359361982+05:30","namespace":"/intel/procfs/meminfo/high_free","data":0,"unit":"","tags":{"plugin_running_on":"AELAB110"},"version":4,"last_advertised_time":"2017-10-24T12:43:39.359519915+05:30"},{"timestamp":"2017-10-24T12:43:39.359406603+05:30","namespace":"/intel/procfs/meminfo/low_free","data":0,"unit":"","tags":{"plugin_running_on":"AELAB110"},"version":4,"last_advertised_time":"2017-10-24T12:43:39.359524142+05:30"},{"timestamp":"2017-10-24T12:43:39.359467873+05:30","namespace":"/intel/procfs/meminfo/shmem","data":35295232,"unit":"","tags":{"plugin_running_on":"AELAB110"},"version":4,"last_advertised_time":"2017-10-24T12:43:39.359526063+05:30"}] 

とイムはinfluxdbにこのJSON配列を置くしようとして次の形式で毎秒JSON配列のストリームを取得しますにデータを置くことを計画mは....どのような方法についてはありこれをする?

+0

JSON配列全体を一度に配置したいのですか?それともメッセージでメッセージを入れてもいいですか?これをhttp://docs.datamountaineer.com/en/latest/influx.html Kafkaの流入コネクタを流入DBにチェックしてください。それは役に立つかもしれない。 – shakeel

+0

@SHAKEELMOHAMMADねえ! 1つのメッセージ(1つのJsonオブジェクト)をjson配列全体ではなく、一度に入れたいですが、ストリームをjson配列として取得しています。そして、私はそのドキュメントを試してみましたが、私の問題を解決するのに役立たず、そのドキュメントは1つのオブジェクトだけに表示されていましたが、私はjsonの配列として取得しました –

+0

大丈夫です、datamountaineerコネクタはその能力を持っていません。 GitHubで問題を提起することができます。 – shakeel

答えて

0

データをそのままカフカに取り込み、カフカストリームを使用して、各配列をflatMap()経由で個別のメッセージに分割することができます。その結果、Connect APIを使用してInfluxDBにエクスポートすることができます。

+0

与えることができます私はこれに新しいので、私はkafkaストリームでjsonを使用する方法を知っていないこのことを行うためのカフカストリームコードを得ることができますか? –

+0

datamountaineerコネクタを使うつもりなら、コネクターはトピックからメッセージを直接引き出すので、Kafkaストリームを使ってこれを達成することはできません。 – shakeel

+0

@Matthias私はKSQLでこれをどのように解決できますか? –

関連する問題