apache-kafka-connect

0熱

2答えて

カフカは、私はカフカには、以下のガイド</p> <p><a href="http://docs.confluent.io/2.0.0/connect/intro.html" rel="nofollow">Kafka connect quickstart</a></p> <p>を使用して合流プラットフォーム用の接続使用している

ストリーミングファイルのために働いていないて接続する。しかし、それはもうシンクファイルを更新しませんカフカの話題には書かれていない。私はすでにすべてのtmpファイルを削除しましたが、変更はありません。事前

-1熱

1答えて

Kafkaがスタンドアロンで接続 - メインクラスを見つけられないかロードできませんでした。org.apache.kafka.connect.cli.ConnectStandalone

メインクラスを見つけたりロードできませんでした。org.apache.kafka.connect.cli.ConnectStandalone 私がkafkaでconnect-standaloneを実行しようとします。まず、私はこのファイルがあった場所のlibexecに接続フォルダがないことに気付きました。ダウンロードしました。それでも同じエラー。私は別々にConnectStandalone.j

0熱

1答えて

カフカJSONを出力しない接続

私はJDBCカフカコネクタを使用してデータベースからKafkaにデータを読み込みます。それは動作しますが、JSONを使用するように指定していても、常にAvro形式でデータを出力します。私はPythonでそのトピックからメッセージを消費すると、各メッセージの先頭にスキーマが表示されるので、これを行うことがわかります。私はこのようなコネクタを実行します。 /usr/bin/connect-stand

0熱

1答えて

他のスパーククラスターと異なるクラスターで実行中のKafkaトピックを作成するにはどうすればよいですか？

私は2つのクラスターにKafkaを実行し、別々にスパークします。私はspark clusterからkafka-topicを作りたいと思っています。スパーククラスターで利用できないKafka-topics.shを呼び出すために必要なトピックを作成することに気付きました。コマンドはシェルを通して呼び出されるべきです。例：/kafka_topics.sh --zookeeper：2181 --crea

2熱

1答えて

Kafka-ConnectとFilebeat＆Logstash

私はKafkaから消費し、HadoopとElasticsearchにデータを保存したいと考えています。私はこれを行う2つの方法を現在見てきました.Filebeatを使用してKafkaから消費し、ESに送信し、Kafka-Connectフレームワークを使用します。 Kafka-Connect-HDFSとKafka-Connect-Elasticsearchモジュールがあります。ストリーミングデー

0熱

1答えて

kafka-connectフレームワークが正確に1回のセマンティクスを達成するために必要な設定

私は、Kafka-Connectで.propertiesファイルのいくつかのパラメータを指定して、正確に一度のセマンティクスを有効にできるという印象を受けています。これらの設定が見つかりませんでした。私は https://cwiki.apache.org/confluence/display/KAFKA/FAQ それはセマンティクス一度接続カフカの設定を変更することにより、正確に達成することが可

1熱

1答えて

avafスキーマをカフカで一度だけ送信する方法

スキーマを作成してプロデューサによってkafkaに送信するには、次のコードを使用しています。 public static final String USER_SCHEMA = "{" + "\"type\":\"record\"," + "\"name\":\"myrecord\"," + "\"fields\":[" + " { \"name\":

0熱

1答えて

登録されたスキーマをID /件名でコネクタで取得する

登録されたスキーマをソースコネクタで取得することは可能ですか？私はスキーマレジストリに登録された静的スキーマを持っており、そのスキーマをコネクタから取得してSourceRecordに渡す必要があります。私はCachedSchemaRegistryClientを使用してスキーマIDを使用してスキーマを取得しましたが、Avroスキーマを返しました。だから私はこれをorg.apache.kafka.c

0熱

1答えて

Kafka Connector - Kafka用のJMSSourceConnectorトピック

デフォルトでは、このJMSSourceConnectorはConfluentでKafkaトピックに提供されますか。またはカスタムコネクタを作成する必要がありますか？これに関するConfluentページのドキュメントは表示されません。

4熱

2答えて

カフカのトピックログ保存期間を永久にする

ログメッセージをカフカトピックに書き込んでいますが、このトピックの保持を恒久的にしたいと考えています。私はKafkaとKafka Connect（_schemas、connect-configs、connect-status、connect-offsetsなど）でログ保持時間によって削除されない特別なトピックがあることを確認しました。トピックをこれらの他の特別なトピックのように強制するにはどうすれ