celery.control.inspectは、待ち行列に入れられたタスクがrabbitmqctlより少ないと報告するのはなぜですか？

Question

rabbitmqctlが正しくキューに入れられたタスクの数千人を報告します。

$ sudo rabbitmqctl -q list_queues name messages messages_ready messages_unacknowledged 
default 13142 13126 16 

しかし、セロリレポート：

>>> len(app.control.inspect().active()['celery@default']) 
4 
>>> len(app.control.inspect().scheduled()['celery@default']) 
1 
>>> len(app.control.inspect().reserved()['celery@default']) 
16 
>>> len(app.control.inspect().revoked()['celery@default']) 
0 

タスクの正しい数（数千）app.control.inspect().stats()['celery@default']['total']に表示するように見えるが、私は本当に知りたいです未処理ののタスクがPython内からキューに入れられ、active()などは16までしか報告されていないようです - おそらく制限がありますか？私は（ところで、このサーバーが現在セロリ3.1.8を使用している）celery経由好ましくは、Pythonの内からフルキューイングされたタスクの数を取得する方法、rabbitmqctlに特権サブプロセスの呼び出しを使用しての

ショート

Answer 1

セロリのapp.control.inspectタスクを検査します実行中の作業者によってのみが処理されます。

キューに何千ものタスクがあるにも関わらず、ワーカーは特定の時点で特定のタスクをわずかしか実行しません。これらはactiveタスクです。

さらに、ワーカーはそのワーカー用に予約されているタスクをプリフェッチできます。これらはreservedタスクに表示されます。

タスクにETAを設定している場合、または定期的なタスクがある場合は、scheduledタスクになります。

4の同時性を持つワーカー（または4コアマシンでデフォルト設定のワーカー）を開始したようです。アクティブなタスクは4です。各ワーカープロセスは4つのタスクをプリフェッチしており、16の予約タスクが発生しました。

AFAIKでは、セロリを使用してキュー内のタスクの合計数を取得する方法はありません。

しかし、キュー内のメッセージの総数を取得するには、いくつかのPythonソリューションがあります。これを行う他の方法については、my other answer hereを確認することができます。

更新：

pikaがRabbitMQのと対話するPythonクライアントです。これを使用してメッセージを消費することができます。各メッセージはsimple example to consumeです。 pika docsでusage examplesをチェックアウトすることができます。