Kafkaをどのように使用できますか?Confluentフレームワークを使用せずにCassandraと接続します。Kafka Connect for Confluentを使用しない方法
答えて
カフカ接続はです。コンフルエントのみコネクタを提供しています。 Confluent Open Sourceを使用したくない場合は(なぜでしょうか?)、バニラのApache Kafkaですべてのコネクタを使用できます。
は、利用可能な複数のCasandraコネクタがあります。https://www.confluent.io/product/connectors/
ところで:記載されているCasandraコネクタのどれもがコンフルエントによって維持されていません。
もちろん、独自のコネクタを書いたり、他のサードパーティのコネクタを使用することもできます。
はい、基本的にDataStaxのKafka Connect apiとCassandra Driversを使用し、Kafka-cassandra-connectのコードを作成する必要があります。
その解決策を詳しく教えてもらえますか? – zx485
DataMountaineer Stream Reactorには、Kafka Connectで使用できるCassandra SourceおよびSinkソリューションがあります。その後、
ドロップjarファイル(download)カフカのLIBSのフォルダに、次のようにあなたのコネクターを指定します。
{
"name": "cassandra-NAME",
"config": {
"tasks.max": "1",
"connector.class": "com.datamountaineer.streamreactor.connect.cassandra.source.CassandraSourceConnector",
"connect.cassandra.key.space": "KEYSPACE",
"connect.cassandra.source.kcql": "INSERT INTO KAFKA_TOPIC SELECT column1, timestamp_col FROM CASSANDRA_TABLE PK timestamp_col",
"connect.cassandra.import.mode": "incremental",
"connect.cassandra.contact.points": "localhost",
"connect.cassandra.port": 9042,
"connect.cassandra.import.poll.interval": 10000
}}
スタートカフカの接続
bin/connect-distributed.sh config/connect-distributed.properties
そしてカフカ経由先にカサンドラコネクタをロードします上記のJSONプロパティファイル(connect-cassandra-source.jsonという名前を持つと仮定)
curl -X POST -H "Content-Type: application/json" -d @config/connect-cassandra-source.json localhost:8083/connectors
timeuuid列をクラスタキーとして持つテーブルを作成する必要があります。それはhereと記載されています。
- 1. Kafka Connect - ファイルソースコネクタエラー
- 2. KafkaエラーINVALID_ARGいいえconfluent-kafka-pythonを使用している場合のsasl.mechanisms
- 3. Faking Confluent .NET Kafkaコンシューマ
- 4. confluent-kafka python avro messages
- 5. confluent-kafka-python:パラメータなしのConsumer.commit()
- 6. コンフルエントなkafka connectを使用するETL
- 7. HDP 2.4でKafka-Connect-HDFSをセットアップして使用する方法
- 8. Confluent Kafka&docker-compose - 実行中エラーの例
- 9. Confluent Kafkaの再生メッセージ
- 10. confluent-kafkaのプロデューサ設定
- 11. kafka connectを使用するベストプラクティス
- 12. Macでpythonパッケージのconfluent-kafkaをインストールできない
- 13. Kafka Connect Logstash
- 14. confluent-kafka avro with pipをインストールする
- 15. DC/OSでConfluent 2.0(apache-kafka)スキーマレジストリを起動できない
- 16. Kafka-Connectを起動できません
- 17. Kafka-ConnectとFilebeat&Logstash
- 18. DC/OS、ElasticSearch、Kafka Connect、Kafka StreamsのCloudFormationテンプレートはありますか?
- 19. Kafka Connect + Zookepeer not connecting
- 20. Apache-Kafka-ConnectのコンフルエントHDFSコネクタ、不明なマジックバイト、Kafka-To-Hdfs
- 21. 何を使用すればいいですか:Kafka StreamまたはKafka consumer APIまたはKafka connect
- 22. kafka-connectを使用した複数のハイブパーティション
- 23. Kafka-connectはドッカーコンテナにログインします
- 24. Kafka Connectの起動に失敗しました
- 25. Kafka Connect HDFSシンクの問題
- 26. コンフルエントプラットフォームのKafka-Connect APIでmax.poll.recordsを設定する方法
- 27. spark-streamin kafka connectとelk stack
- 28. kafka-connect-jdbc日付時刻
- 29. Confluent kafka C#ライブラリのKafkaトピックから最新のオフセットを取得するには?
- 30. kafka connect 0.10とSpark Structured Streamingでfrom_jsonを使用するには?
データベースにアクセスするための基本的な考え方は、私の場合はSQL/CQLのいずれかのクエリを使用しています。 connectは、データを格納したり、データをフェッチするためにデータベースに対してクエリを実行します。コンシューマー・グループを処理用に構築し、それをDBに格納する場合は、DBに格納するために使用されるもの、つまりDBコンシューマーと言えば、単にORMを使用してデータをデータベースに格納するだけです。完全な透明性とコントロールを備えています。だから私の懸念は、それがパフォーマンスとスピードに関してこのタイプの(DB消費者)消費者と実際にどのように異なっているかということです。 ご協力いただきありがとうございます。 –
フレームワークとして接続するとフェイルオーバーが処理され、分散モードで実行してデータのインポート/エクスポート「ジョブ」をスケールアウトすることもできます。したがって、コネクトは本当に「火と忘れ」の経験です。さらに、Connectの場合、コードを書く必要はありません。コネクタを設定するだけです。 –