DockerコンテナでKafkaクラスタを実行していますか？

Question

パフォーマンスの観点から、DockerコンテナでKafkaを実行するのは良い選択ですか？気をつけるべきことはありますか？

Answer 1

このトピックには、research paper from IBMがあります。これは少し前のものですが、基本的なステートメントはまだ真実であり、改善されているに違いないと確信しています。要点は、Dockerによって導入されたオーバーヘッドがCPUとメモリに関してはかなり小さいことですが、IO重いアプリケーションでは少し注意する必要があります。作業負荷に応じて、私はKafkaをIO重いグループに正式に入れていたので、それはおそらく思い浮かばないでしょう。 Kafkaは高速ディスクアクセスのメリットが大きいので、SANやNFS共有などのストレージに接続された何らかの分散プラットフォームでコンテナを実行すると、違いがあることがわかります。しかし、コンテナを選んでデプロイメントを容易にし、1台の物理マシンで実行するだけの場合は、その差はごくわずかです。

しかし、すべてのパフォーマンスに関する質問と同様に、これを一般的に言うのは難しいので、具体的なユースケースと環境をテストして確認する必要があります。

Answer 2

パフォーマンスは、使用するマシンの種類によって大きく左右されると思います。 LinkedinとKafkaの他の大規模ユーザーは、KafkaプロトコルでIBMのZerocopyを使用するとともに、主に線形の読み書きが行われるため、SSDではなく回転ディスクを使用することを推奨します。多くのコンテナを扱うマシンでは、回転ディスクがKafkaに与えるすべての利点を失います。