apache-kafka-connect

0熱

3答えて

私が始めようとしているのは、私がKafkaを完全に新しくしてLinuxにはかなり新しいと言うことから始めたいと思います。これがちょっと単純な答えに終わったら、親切にしてください！ :) 私がしようとしていることは、コンフルエントのKafka Connectを使用して、センサデータを分または分単位でストリームしているMySQLデータベースから読み込み、次にKafkaをデータをデータウェアハウスおよび

1熱

1答えて

kafkaコネクタからポートにログをプッシュ

カスタムカフカ接続シンクコネクタからは、すべてのログをポートにプッシュする方法がありますか、それを処理するカスタムログアペンダーを作成する必要がありますか？私は（場合には、それが直接に達成することはできません）2つのステップでタスクを分割するようになる： 1）は、すべてのカフカローカルディレクトリ 2上のログファイルに分散したログを接続）公開ログを書きますログファイルのポートでしたがって、アプ

0熱

2答えて

JSON文字列を実際のJSONに変換するKafka Connect

Kafka Connectを使用して、文字列として保存されたJSON値を実際のJSON構造に変換することができるかどうかを判断しようとしています。このような変換を探してみましたが、見つからなかった。例として、これは元のようになります。 { "UserID":2105058535, "DocumentID":2105058535, "RandomJSON":"{\"T

0熱

1答えて

カフカソースコネクタが無効なオフセット値を取得する

単純なポーリング方法を持つSourceTaskを持っています（かなり高速に完了します）。 context.offsetStorageReaderから取得したオフセット値は、以前のpoll（）メソッドで返されたオフセット値と一致しないことを意味する大部分が失効しています。同時に、「commitOffsetsが正常に」発生したときに、オフセット値が「新鮮」に更新されることをログから確認できます。私

1熱

1答えて

Kafka-connectはドッカーコンテナにログインします

私はドッカーコンテナとして実行する必要があるカフカ接続ジャーを持っています。私は、後でローカルホスト（ドッキングエンジンが動作している）にプッシュできるコンテナ内のログファイル（すべてのディレクトリ/ファイル -/etc/kafka/kafka-connect-logs）にすべての接続ログをキャプチャする必要があります。ドッカーのボリューム。 connect-log4j.propertiesを変更

1熱

1答えて

カフカストリームは、入力されたトピック

を読んでいない私は、チュートリアルからサンプルカフカストリームアプリケーションを作成しました： public static void main(String[] args) throws Exception { Logger log = Logger.getLogger("Name"); Properties props = new Properties(); pr

0熱

1答えて

Apache Kafkaをファイルウォッチのシステムとして使用できますか？

ソースパスとコピー先パスがHDFSにあります.OutStreamはソースパスにファイルを置きます。コピー元ファイルソースパスからデスティネーションパス。ここでは、シェルスクリプトを使用しています。しかし私はその間にカフカを使いたいと思っています。私はそれについて研究し、HDFSシンクコネクタだけを見つけました。 HDFSのソースコネクタはありません。私の質問はここでカフカを使用することができ

0熱

1答えて

Kafka Connect - TerradataのソースコードとOracleテーブルへのアップアップ

Terradataからテーブルを読み込み、OracleにUpsertを読み込むためのデータパイプラインを作成します。 kafka connect teraddataソースコネクタを使用し、Oracleシンクコネクタを使用してOracleテーブルに書き込むことはできますか。

0熱

1答えて

kafka KStreamを処理してデータベースに直接書き込む代わりに、別のトピックを送信する

処理済みのKStreamを別のトピックに書きたくないので、豊富なKStreamをデータベースに直接書きたいと思っています。私はどのように進めるべきですか？