2017-01-10 17 views
0

rabbitmq(3.6.6)を使用して分析(数百万回)を異なるアナライザに送信しています。これらは非常に迅速で、分析された要素に対する監視をスケジュールするためにrabbit-message-pluginを使用する予定でした。RabbitMQ遅延交換プラグインのロードとリソース

私たちはrabbitmq-delayed-exchange-pluginについて考えていましたが、すでにいくつかのテストを行っており、いくつかの説明が必要です。現在

  • 我々は以前、これらはテストです言ったよう
  • 遅延が24時間
  • 数分から及ぶメッセージの数百万人のスケジュールを設定しているので、我々は一つのコアを持つマシンを使用していますそれに他のアプリも走っている4GのRAMがあります。結局

    • のRabbitMQ(日かそこら)は、(1つのコアだけを)100%を消費して起動し、管理インターフェイスに応答しない:2.0Gに設定し、高いメモリ透かしで何が起こっ

    またrabbitmqctl。これは少なくとも18時間続きます(ディスク上のファイルを遅らせる - 100/200MBほどのファイルを削除して再起動します)。なぜなら、このように作業した後、一週間程度高いメモリ使用量(4ギガバイトのハードウェア)の、

    • のRabbitMQはカーネルによって殺された:3.6Gに設定し、高いメモリ透かしで何が起こっ

    。遅延交換

  • Mnesiaファイルが
  • RabbitMQのは(私たちはそのため何かを破損して何とか終わっ遅延でKILLメッセージによって終了されるので想定している以下のトレースに与えるもう起動することはできません1.5G

  • についてです

    {could_not_start,rabbit, 
    rabbitmq-server[12889]: {{case_clause,{timeout,['[email protected]']}}, 
    rabbitmq-server[12889]: [{rabbit_boot_steps,'-run_step/2-lc$^1/1-1-',1, 
    

そして今、私たちは自分自身を求めている:私たちは、この情報の量のためにウサギ遅れ交換プラグインを使用して私たちの頭の上に少しです私たちがしている場合は、目の終わり?問題を再考して再起動しますが、そうでない場合は、適切なハードウェアや設定の設定は何ですか?

答えて

0

RabbitMQ遅延交換プラグインは、何百万ものメッセージを格納するようには適切に設計されていません。

また、このプラグインの現在のデザインは本当に遅れてのメッセージ(数千または数百万人の、例えば100S)の高い 数のシナリオに適合しないplugin page

に記載されています。詳細については、 72を参照してください。また、ここで

読む:RabbitMQのがデータベースであるかのようにhttps://github.com/rabbitmq/rabbitmq-delayed-message-exchange/issues/72

このプラグインは頻繁に使用されています。そうではない。

+0

ありがとうございました。私たちは古い情報を使って作業していましたが、これらのテストを行う前に読んでいなかったようです。ありがとうございました:) – VdS

+0

@VdS RabbitMQは 'lazy'キューを使用して何百万ものメッセージを問題なく保存できます。たぶんちょっとあなたのアプリケーションデザインを変更する必要があります:)! – Gabriele