Celeryによるメッセージ配信の保証方法

Question

私はバックグラウンドでより多くの作業を開始したいので、時間がかかります。過去に私は通常のバックグラウンドタスクを行うためにCeleryを使用しましたが、これはうまくいきました。

このアプリケーションと以前に行ったこととの唯一の違いは、これらのメッセージが処理され、失われないことを保証する必要があることです。

このアプリケーションでは、メッセージキューの速度についてあまり心配していません。信頼性と耐久性が必要です。安全を期すために、私は2つのキューサーバーを持ちたいと思っています。どちらかが間違っている場合は別のデータセンターに、もう1つはバックアップしてください。

セロリを見ると、さまざまなバックエンドをサポートしているように見えます。 redisとRabbitMQのような2つの最も人気のある外観なので、私はそれらをさらに調べるために少し時間をかけました。

のRabbitMQ： は耐久性のあるキューとクラスタリングをサポートしていますが、彼らは今日のクラスタリングを持っている方法に問題がクラスタ内のノードを紛失した場合、あなたがオンラインに戻し、そのノードを持って来るまでは、そのノード内のすべてのメッセージが利用できないということです。クラスタ内の異なるノード間でメッセージを複製せず、メッセージに関するメタデータを複製した後、元のノードに戻ってメッセージを取得します。ノードが実行されていない場合は、S.O.Lです。理想的ではない。

これを回避する方法は、第2のサーバーをセットアップし、DRBDを使用してファイルシステムを複製し、ペースメーカのようなものを実行してクライアントを必要に応じてバックアップサーバーに切り替えることです。これはかなり複雑なようですが、良い方法があるかどうかはわかりません。誰でも良い方法を知っていますか？

のRedis： が読み取りスレーブをサポートし、これは私が緊急事態の場合のバックアップを持つことができるようになるが、それはマスター・マスターの設定をサポートしていない、そしてそれはマスターの間でアクティブなフェールオーバーを処理する場合、私はわからないんだけどスレーブ。それはRabbitMQと同じ機能を持っていませんが、設定と保守がずっと簡単です。

質問：

1. それはメッセージ 処理を保証するようにセットアップセロリ するための最良の方法は何ですか。

2. 誰もこれまでに行ったことはありますか？もしそうなら、 はあなたがしたことを分かち合いますか？

Answer 1

私は、この提案のためにアマゾンSQSを使用して良い結果を持っています。キューから削除するまでメッセージを受信し、必要に応じてアプリを成長させることができます。

Answer 2

私は、既存のバックエンドにバインドされたセロリが、必要な信頼性保証のための間違った解決策であると考えます。

耐久性と信頼性が高い分散キューイングシステムを望むなら、私はそのようなシステム（存在しているもの）を探し、Pythonでバインドする最良の方法を考え出すことから始めます。それはセロリー&経由で新しいバックエンドかもしれません。

Answer 3

分散レンダリングシステムを使用していますか？通常はHPCのために予約されていますが、多くの概念は同じです。 QubeまたはDeadline Renderをチェックしてください。他にもオープンソースのソリューションがあります。一部のレンダリングで高度な複雑さと障害の危険性があり、画像シーケンスフレームごとに数時間かかる可能性があるため、すべてのフェールオーバーが念頭に置かれています。

Answer 4

あなたは、IronMQをチェックアウトしたいと思うかもしれません、それはあなたの要件（耐久性、高可用性など）をカバーし、ゼロのメンテナンスなので雲のネイティブソリューションです。セロリのブローカーはhttps://github.com/iron-io/iron_celeryなので、セロリの設定を変更するだけですぐに使い始めることができます。

Answer 5

OPから多くの変更がありました！ハイアベイラビリティ（別名「ミラーリング」キュー）オプションが追加されました。これは、あなたが説明した問題を解決するためにはるかに進んでいます。 http://www.rabbitmq.com/ha.htmlを参照してください。