Kubernetesと糸との一体化

Question

Kubernetesと既存のYarnクラスターの統合方法は知っていますか？

以下のページでは、Kubernetes Yarnとの統合が提供する機能について説明します。

https://hortonworks.com/blog/docker-kubernetes-apache-hadoop-yarn/

しかし、それだけでいいチュートリアルでは、ローカルクラスタをインストールするための指示を与えます。

代替または2つ目の質問は次のようになります。

は合理的/お勧めは、Hadoopのは、実行しているのと同じ物理クラスタ内のKubernetesクラスタを実行するということですか？

ありがとうございます...

Answer 1

ホートンワークスの解決策は私にとって奇妙に見えます。 Kubernetesは物理マシン上のドッカーコンテナを管理し、ジョブをスケジュールするジョブはクラスタ（一連のLinuxボックスで構築）を実行します。統合の本質的な方法は、Kubernetesによって管理されているドッカーコンテナで糸を動かすことです。なぜその反対ですか？

IMO、正しいソリューションは、既存の糸クラスターにkuberneteを統合していません。代わりに、マイクロサービス指向のアーキテクチャを使用してクラスタを再構築する必要があります。これは、すべてのサービス（糸がその1つです）がkubernetesによって管理されているドッキング・コンテナで実行されていることを意味します。長期的に見ると、これは大規模なデータクラスタにとって、管理しやすくメンテナンスを必要としないアプローチになります。