どのように私は失敗許容量を持つ無限ストリームを読み続ける

Question

現在、私はTwitterのAPIからストリームを読み取り、オブジェクトに解析するアプリケーションに取り組んでいます。 現時点では、ストリームを読み取り、DataContractJsonSerializerのReadObjectを使用してオブジェクトを作成します。

これは素晴らしいです！

HOWEVER： 私のプログラムがストリーム（インターネットが遅くなったりw/e）に追いついて、解析するのに十分なデータがない、オフチャンスで何が起こるか心配です...メソッドはおそらく例外をスローしますが、私は新しいデータを待ってから、同じオブジェクトをやり直して続行します。

また、壊れたデータがこのようなストリームなどに入力された場合、どのようにしてメソッドをより安定にすることができるのだろうかと思っていました。すべての答え/アイデアを事前に

感謝:)

Answer 1

あなたのプログラムは、Twitterのフィードに追いつく場合は、読み取りを完了するのに十分なデータを取得するまで、DCJSだけでブロックする必要があります。ストリームは読者のレイテンシを隠すように設計されているため、これは通常問題ではありません。

あなたが追いつくことはありませんが、メモリが足りなくなり、OOMEをスローしてプログラムがクラッシュするまで、ずっと遅れることはないでしょう。

私は、ストリームをパーズで解析し、ファイルのようなものに書き込んだり、読み込んだり（並列ファイルでも、ローリングファイルなどを使って）読むことをお勧めします。