私はどこにいるのですか
私は単純なnode.js twitterストリームコンシューマで、さまざまなハッシュタグを追跡しています。しばしば、これらは傾向のあるハッシュタグであり、これは大量のtwitter jsonが私の消費者にストリーミングしていることを意味します。私は消費者のtwitter jsonの処理をしません。私は rethinkdbに挿入する前に、redisでtwitterストリームをバッファリングするにはどうすればよいですか?
は、私がrethinkdbにツイートJSONオブジェクトを保存する欲しいもの
。ツイートは消費者を入力する速度があるかもしれないので、これによりツイートの体積(及び前記ボリュームの予測不可能)に、私は(それらが消費されるようにrethinkdbにつぶやきJSONオブジェクトを挿入
仮定
を避けるべきですrethinkdbがこれらのつぶやきを書くことができる速度よりも速い)。
ツイートjsonオブジェクトが消費されたときに、それらの書き込みを処理するには十分に速いので、ツイートjsonオブジェクトを直接redisにプッシュし、別のプロセスでこれらのツイートを引き出してrethinkdbに挿入することができます。私は
- を学ぶことを願って何
は私の仮定が正しいですか?
このアーキテクチャは意味がありますか?そうでない場合は、より良い選択肢を提案できますか?
私の仮定が正しいとこのアーキテクチャは理にかなっている場合は、
。 つぶやきのバッファとしてredisを使用する最も良い方法は何ですか?
b。 rethinkdbへの挿入を実行するために、redisバッファからの読み込み(および更新/消去)の最良の方法は何ですか?