apache-kafka-connect

2熱

1答えて

カフカからS3にメッセージを読み込もうとしているときに、Kafka接続クラスパスにjarを追加する際に問題があります。目標は、カフカメッセージのキーの一部であるタイムスタンプに基づいてパーティションにメッセージを書き込むことです。ストーリーを短くするには、カスタムタイムスタンプ抽出器を提供する必要があります。ドキュメントhereの後にTimestampExtractorインターフェイスを実装し

0熱

2答えて

フォルダ内のファイルをストリーミングする

私はflumeからkafkaにストリーミングアプリを移しています。私はkafkaを初めて利用しているので、私は助けが必要です。私は、CSVファイルが特定の場所（D：/ Folderなど）のIOTセンサーによって継続的に生成されているWindowsマシンを持っています。ハープループクラスタに転送したいです。 1）ログファイルの転送の間にkafkaクラスタ/ブローカが必要ですか、またはWindo

2熱

1答えて

KSQLテーブルからデータを読み取る

おそらくこれは初心者の質問ですが、KSQLで生成されたデータを読み取るにはどうすればよいですか？ストリーム処理を行い、そのデータをKSQLテーブルに書き込むとします。今、Springアプリケーションを介してこのデータにアクセスしたいと考えています（websocket経由でライブデータをファンアウトするなど）。私の最初の推測は、スプリングカフカを使用して、根底にあるトピックに登録することでした。そ

1熱

1答えて

Kafka FileSteamSource接続エラー

kafka connectを使用して、単純なテキスト/tmp/my-test.txtを読み込もうとしています。以下は私のファイルソースプロパティファイルです。コネクタワーカーを開始しながら、私が手 connect-file-source.properties name=local-file-source connector.class=FileStreamSource tasks.max=

0熱

1答えて

org.springframework.kafka.listener.ListenerExecutionFailedException：リスナーメソッドがjava.lang.NullPointerExceptionをスローしました

私のコンシューマークラスInventoryEventReceiverのリスナーメソッドで以下のエラーが発生しました。 NullPointerExceptionが表示される理由がわかりません。私はちょうど2つのInventoryEventオブジェクトを投稿しています。迅速なヘルプがあれば幸いです。私はカフカRESTプロキシを介して2つのレコードの下にPOSTしていたリスナー方法 public c

1熱

1答えて

Data Mountaineer KCQLがJsonアレイをサポートしています

kafkaが新しく、KCQLクエリがjson配列をサポートしているかどうかを知りたがっていますか？は私がinfluxdb 私は [{"timestamp":"2017-10-24T12:43:39.359361982+05:30","namespace":"/intel/procfs/meminfo/high_free","data":0,"unit":"","tags":{"plugin_ru

0熱

1答えて

Kafka接続JDBCコネクタ

io.confluent.connect.jdbc.JdbcSourceConnectorをクエリを使用してバルクモードで使用しようとしています。 query = select name, cast(ID as NUMBER(20,2)),status from table_name これは可能ですか？可能であれば何か不足していますか？取得中 exception (org.apache.k

-2熱

1答えて

kafkaメッセージング・システムを使用したoracleデータベースの問合せ

データ・ウェアハウスであるoracleデータベースがあり、私のシステムでメッセージを交換するためにkafkaメッセージング・システムを使用しています。私の災害復旧ソリューションでは、kafka connectを使用してOracleデータベースでクエリを実行し、クエリされたメッセージをH2データベースにコピーします。カフカ接続を使用してOracleデータベースで照会するソリューションはありますか？私

0熱

2答えて

Apache KafkaトピックとストリームデータをHiveテーブルに登録する方法

Apache KafkaトピックとストリームトピックデータをHiveテーブルに登録するにはどうすればいいですか？カフカのトピックはリアルタイムで更新されます。

0熱

1答えて

Kafka Connectの起動に失敗しました

新しいLinux CentOS 7にkafka confluent oss 4.0をインストールしましたが、kafka接続の開始に失敗しました。再現手順： - Install Oracle JDK 8 - Copy confluent-4.0.0 folder on opt/confluent-4.0.0 - Run /opt/confluent-4.0.0/confluent start