私はKubernetesクラスターをしばらく実行していましたが、安定した状態に保てませんでした。 私のクラスタは4つのノード、2つのマスター、2つのワーカーで構成されています。すべてのノードは同じ物理サーバー上で動作し、VMware vSphere 6.5も実行されます。各ノードはCoreOS stable(1353.7.0)を実行し、ネットワーク用にCalicoを使用して、Kubernetes/Hyperkube v1.6.4を実行しています。私はthisガイドの手順に従ってきました。すべてのKubernetesポッドは同時に定期的に降ります
何が起こるかは、数時間/日の間、クラスタは問題なく実行されます。それから、私のポッドはすべて「保留中」の状態になり、そのままになります。どんなホステッドサービスにもアクセスできなくなります。 しばらくすると(通常5〜10分)、それは元の状態に戻り、すべてのポッドを再作成し、実行中のすべてのポッドをシャットダウンしようとします。新しく作成されたポッドのいくつかが現れますが、最初はインターネットに接続しません。
私はこの問題を断続的に抱えていましたが、生産中にKubernetesを使用できなくなっています。私は本当にこれを引き起こしていることを理解したいと思います!
ログを調べて問題を診断しようとすると、奇妙なことに、 私は両方のワーカーノードでジャーナルログが破損していることに気付きました!マスターノードでは、ログは読み込み可能ですが、あまり有益ではありません。
実行中でも、kubeletは常にログにエラーを出力します。すべてのノードで、この分後について投稿しているものである:
May 26 09:37:14 kube-master1 kubelet-wrapper[24228]: E0526 09:37:14.012890 24228 cni.go:275] Error deleting network: open /var/lib/cni/flannel/3975179a14dac15cd41881266c9bfd6b8763c0a48934147582cb55d5618a9233: no such file or directory
May 26 09:37:14 kube-master1 kubelet-wrapper[24228]: E0526 09:37:14.014762 24228 remote_runtime.go:109] StopPodSandbox "3975179a14dac15cd41881266c9bfd6b8763c0a48934147582cb55d5618a9233" from runtime service failed: rpc error: code = 2 desc = NetworkPlugin cni failed to teardown pod "logstash-s3498_default" network: open /var/lib/cni/flannel/3975179a14dac15cd41881266c9bfd6b8763c0a48934147582cb55d5618a9233: no such file or directory
May 26 09:37:14 kube-master1 kubelet-wrapper[24228]: E0526 09:37:14.014818 24228 kuberuntime_gc.go:138] Failed to stop sandbox "3975179a14dac15cd41881266c9bfd6b8763c0a48934147582cb55d5618a9233" before removing: rpc error: code = 2 desc = NetworkPlugin cni failed to teardown pod "logstash-s3498_default" network: open /var/lib/cni/flannel/3975179a14dac15cd41881266c9bfd6b8763c0a48934147582cb55d5618a9233: no such file or directory
May 26 09:38:07 kube-master1 kubelet-wrapper[24228]: I0526 09:38:07.422341 24228 operation_generator.go:597] MountVolume.SetUp succeeded for volume "kubernetes.io/secret/9a378211-3597-11e7-a7ec-000c2958a0d7-default-token-0p3gf" (spec.Name: "default-token-0p3gf") pod "9a378211-3597-11e7-a7ec-000c2958a0d7" (UID: "9a378211-3597-11e7-a7ec-000c2958a0d7").
May 26 09:38:14 kube-master1 kubelet-wrapper[24228]: W0526 09:38:14.037553 24228 docker_sandbox.go:263] NetworkPlugin cni failed on the status hook for pod "logstash-s3498_default": Unexpected command output nsenter: cannot open : No such file or directory
May 26 09:38:14 kube-master1 kubelet-wrapper[24228]: with error: exit status 1
私はthis問題が発生し、このエラーをGoogleで検索しましたが、それは閉じられていると人々はV1.6.0を使用して以降は、それを解決する必要があることを示しますしかし、それは間違いなく私の場合ではありません...
誰かが正しい方向に私を向けることができますか?
ありがとうございます!
リリースすべての単一のバージョンでの回帰と悪夢です。紺碧のコンテナサービスを介してkubernetesクラスタを実行している。私はそれが1.5.3だと思います。 があなたをしました – jt55401
ポッドが保留状態にある場合、スケジューラに問題がある可能性があることを示している可能性があります。 –
問題を確認したようです –