Node.jsにアプリケーション状態を保存する

Question

node.jsのアプリケーション状態を保存するにはどうすればよいですか？

RESTful APIを使用して多数の（10,000以上の）製品をEコマースアプリケーションにインポートするスクリプトがNode.JSにあります。 APIにはリクエストの量に制限があり、私たちはその制限に対してぼかしをかけています。以前の実行では、おそらくAPI制限を超えたためにスクリプトはError: connect ETIMEDOUTで終了しました。私は5回接続しようとすることができたいと思うし、それが限界が復元された1時間後に再開に失敗した場合。

クラッシュが発生した場合（電源が切れたり、ネットワークがクラ​​ッシュするなど）、進捗状況を保存することも有益です。そして、中止した時点からスクリプトを再開することができます。

Node.jsが巨大なイベントキューとして動作し、すべてのhttp要求とそのコールバックが（ほかのイベントとともに）キューに入れられることがわかりました。これにより、現在の実行状態を保存するための主要なターゲットになります。他の楽しい（このプロジェクトにはまったく必要ではない）、異なるネットワーク上の複数のマシン間で作業を分散してスループットを向上させることができます。

既存の方法はありますか？おそらくフレームワーク？あるいは、私はこれを自分で実装する必要があります。その場合、これをどのように行うことができるかについての有用な情報を感謝するでしょう。

Answer 1

私は一緒にいくつかと（あなたは私がNode.jsの巨大イベントキューとして動作していることを知っている

を言うとき、すべてのHTTP要求とそのコールバックがそのキューに入れます、あなたが何を意味するかわからないんだけど他のイベント）。これは、現在の実行状態を保存するための第一の目標になります

答えに関連する場合は、これをコメントしたり、解説してください。いくつかの理由のために、あなたは、単にこの特定のタスクのための永続性メカニズムを探しているなら、私はRedisをお勧めかもしれない、と述べた

：

• それは多くのデータ型に関するatomic operationsすることができます。たとえば、要求数を表すRedadのエントリがnum_requests_madeである場合は、INCR num_requests_madeを使用してRedisで簡単にこの数値を増やすことができます。アトミックであることが保証されているため、複数のワーカーに容易に拡大できます。
• several data typesがあり、お客様のニーズに役立つ可能性があります。たとえば、単純な文字列は、（以前の箇条書きのように）特定の期間に行われたAPIリクエストの数を表すことができます。リストに再送信する必要がある失敗したAPI要求の詳細を格納することができます。
• pub/sub mechanismsは、プログラムの複数のインスタンス間で簡単に通信できるようにします。

これは面白いまたは有用なサウンド、あなたはすでにRedisのに慣れていない場合は、私は非常に少数のデータタイプを紹介し、それらのコマンドinteractive tutorialを、試しをお勧めします。もう1つの良い資料はA fifteen minute introduction to Redis data typesです。