Dockanger ContainerのDjango + CeleryのAPIタイムアウトのトラブルシューティング

Question

9つのサービスをそれぞれ独自のコンテナ内で実行するというマイクロサービスアーキテクチャがあります。

これらのサービスでは、Django、Celery（Redis Queue）、共有PostgreSQLデータベース（独自のコンテナ内）、およびいくつかの特定のサービス/ライブラリを使用しています。

マイクロサービスは、REST APIを使用して互いに通信します。

問題は、ランダムな方法で、いくつかのコンテナAPIが応答しなくなってスタックしないことがあることです。 自分のインタフェースでcurlリクエストを発行するとタイムアウトになります。

その瞬間、他のすべての容器はうまく答えます。

2つの張り出した容器があります。 私が気づいたことはブロックコンテナの両方を使用することです：

• ジャンゴ
• ジャンゴ休止フレームワーク
• セロリ
• ジャンゴ・セロリ
• セロリブローカーなどの組み込みのRedis
• 別のコンテナにあるPostgreSQL DBへのアクセス

サービスまたはドッカーのログに関連情報が表示されないため、問題のトラブルシューティング方法を理解できません。

問題は、これらのAPIがランダムな瞬間にだけスタックされていることです。もう一度動作させるには、ブロッキングコンテナを停止してから、再度起動する必要があります。

それはのpython GIL問題ことができれば、私は思っていたが、私はこの仮説をチェックする方法がわからない...

これをtroubleshotする方法についての任意のアイデア？

Answer 1

実行中のコンテナにシェルして物をチェックすることができます。あなたはジャンゴを使用している場合、たとえば、あなたがDjangoのディレクトリに移動し、manage.py shellを行うと、そこにチャンスをうかがっ開始することができます...等、セロリプロセスがまだ実行されている

docker exec -ti my-container-name /bin/bash

です。

私は例外の種類は、ジャンゴとgunicornである（原則として、私はコンテナごとに1つのプロセスを実行し、しかし、私はジャンゴ/セロリ/ celerybeat/nginxの/ ...

を使用して、複数のWebサービスを実行して同様に設定して同じ容器に入れてください）。私は--volumes-fromを使って物事を共有します。

たとえば、gunicornアプリケーションは.sockファイルに書き込みます。コンテナには独自のnginx設定があります。 nginxコンテナは--volumes-from djangoコンテナを使用してこの情報を取得します。そうすれば、すべてのWebサービスに在庫nginxコンテナを使用できます。

デバッグのもう一つの便利なことは、stdoutにログを記録して、本番用にdockerのログドライバ（splunk、logstashなど）を使用することですが、デバッグ時にコンテナにログを記録します。そうすれば、テスト中に「ドッカーログ」から多くの情報を得ることができます。ドッカーについての素晴らしい点の1つは、生産に失敗した正確なコードを取得し、それを顕微鏡で実行してデバッグすることです。