AWS - IP設定のKafkaブローカー

Question

私はEC2にKafkaソフトウェアをインストールしました。私の問題は、AWS外からのブローカーへの接続です。それはすべて私の中から働く。

私は、ブローカーとkafka-console-producerとconsumerの両方の仕事を（同じサーバーから）開始できます。私はポート2181と9092を遠隔地に開いていて、どこからプロデューサーを使用したいのですか。だから私の開発（ローカル）マシンから。もし私がtelnet 9092をすれば、それは私を接続します。 kafka-console-producerを使用しようとすると、このエラーが発生します。

[2017-03-09 15:04:44,971] ERROR Error when sending message to topic topic2 with key: null, value: 5 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for topic2-0: 1521 ms has passed since batch creation plus linger time

私は、server.propertiesファイルとし、上の組み合わせのすべての種類を試してみました - キーlistenersとadvertised.listenersで。

私はそれがAWSマシンの公開ホスト名/ IPは、AWSの内部で使用できないことが原因である可能性があり...

Answer 1

をいくつかの助けを本当に感謝します。もしそうなら、あなたは少しばかげていく必要があります。 2つのことが必要です：

• をAWS（例えばのローカルホスト名を結合し、あなたのプライベートアドレス、ローカルの/ etc/hosts内
• にadvertised.listenersを設定することを確認したIP-10-0-0-。 1.eu-west-1.compute.internal）をパブリックIPに変更します。

次に、常にプライベートホスト名だけを使用してください。これは、ログを一切与えない奇妙な問題の根本的な原因です。