VirtualBox内のKafkaに接続

Question

私は、私のホスト（Windows）からゲスト（Linux）への接続に問題があり、私はKafkaをインストールしました。

ConfluentツールをインストールしたVM（VirtualBoxを使用）をセットアップしました。それは、飼育係、カフカ、およびスキーマレジストリを開始し

confluent start schema-registry 

：このVMで、私は、コマンドを実行します。このVMの下で

、私は

kafka-console-producer --broker-list localhost:9092 --topic test 

と

kafka-console-consumer --bootstrap-server localhost:9092 --topic test 

を実行することができ、すべてが正常に動作している、私が生産し、メッセージを受け取ることができます。

私の目標は、生産し、私のホストからのメッセージを消費できるようにするがあるので、私はこのポート転送ルールの設定：

bin\windows\kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic test 

：私のWindowsから

が、私は仕事には、このコマンドを期待していました

しかし、私が得るすべてはこれです：私は、多くの異なるものを試してみたが、まだ解決策を見つけることができません

ERROR Error when sending message to topic test with key: null, value: 3 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test-0: 1529 ms has passed since batch creation plus linger time 

....アイデア？

Answer 1

ゲストとホストの間のホスト名のギャップのようです。 Linuxゲストはどのホスト名を持っていますか？

プロデューサ/コンシューマがKafkaブローカにアクセスすると、Kafkaブローカはデフォルト設定でデータプロデューサまたはコンシューマのホスト名を返します。したがって、プロデューサ/コンシューマは、ブローカのホスト名をIPAddressに解決する必要があります。

任意のホスト名を返すブローカの場合は、advertised.listenersの設定を使用します。

詳細はthe "advertised.listeners" configuration docsです。

Answer 2

私は同様のものをセットアップしようとしていました。 KafkaとZookeeperのために適切な仮想ネットワークを設定する方がいいかもしれませんが、私は引き続き行動し、個人的なアプローチを共有したいと考えています。

私は、VirtualBox Linuxゲスト自体で動作するKafkaとZookeeperだけでなく、そのLinuxゲストで動作するドッカーベースのソリューションと連携することがあります。ここで私は、ゲストの内部で使用docker-compose.ymlです：

version: '3' 

services: 

    zookeeper: 
    image: "wurstmeister/zookeeper" 
    ports: 
     - "2181:2181" 

    kafka: 
    image: "wurstmeister/kafka" 
    ports: 
     - "9092:9092" 
    environment: 
     KAFKA_ADVERTISED_HOST_NAME: "localhost" 
     KAFKA_CREATE_TOPICS: "test:1:1" 
     KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 

ここで最も重要な点は、（あなたが2181をパッチしましたVirtualBoxのデフォルトNATベースのネットワーキングとよく果たしている汚いちょっとしたトリック仮定しないKAFKA_ADVERTISED_HOST_NAME、ありますOPのように9092まで）。このトリックでVirtualBox ホスト OSのコンシューマまたはプロデューサーは、"localhost"にあり、ホストに解決されることをKafkaから学びますが、ホスト上のポートはゲストにパッチされてしまいます正しい場所。

1.xで同じことを実行する適切な方法は、Advertised Listenersプロパティを使用することですが、原則は同じです。ゲストOS上のdocker-compose upた後、私は/リストのトピックを作成して、消費/ホストOSからのメッセージを作り出すことができる、これらの設定で

：参考

---

は、ここに私のVirtualBoxの設定です。