CKANでKafkaを消費する方法

Question

CKANのリソースをKafka consume-APIにリンクすることはできますか？私はリアルタイムでKafkaで公開されているライブリソースをCKAN APIでアクセスしたいと考えています。

Answer 1

おそらくCKAN拡張でこれを書くべきです。 例えば、私はDatapusherと同じように動作するCKAN-Validatorプラグインを作成しましたが、ファイルを取得し、摩擦のないgoodtablesを使用して検証し、csvファイルとExcelファイルの機能を検証しました。検証に成功すると、ファイルをデータベースにプッシュして、Logstashがデータを取得し、Elasticsearchへの移動を開始します。さまざまな理由でメイテーブルよりGoodTablesを選択しました。

私は、Kafka consume-APIからデータを取得し、それをCKANデータストアにプッシュするバックグラウンドジョブを書くことができると思います。

ckan-service-providerライブラリをご覧ください。

これは、私が私の書いたものです。

こちらはgithubのリンクです：https://github.com/ckan/ckan-service-provider