カール接続を設定する方法Gnipストリーミング？

Question

Gnip Streaming用のCurl接続を設定しようとしています。私の目的は、受信したすべてのデータをテキストにダウンロードし、データベースにアップロードすることです。しかし、カールの要求はしばらくしてから落ちています。データをストリーミングするためのプロセスを設定する方法はありますか？

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt  

私はいつか「クローズ接続」を取得しています。

Answer 1

あなたのcurlコマンドは問題ありませんが、ストリームのボリュームに追いつかないという問題があります。これにより、サーバ側のデータバッファが完全に満たされ、サーバから強制的に切断されます。

基本的な推奨事項は、データボリュームをストリーミングする帯域幅を確保することです。多くの場合、これらの強制切断は、クライアントアプリケーションのボトルネックを処理することによって発生します。しかし、あなたは非常に効率的なカールを使用しています...カールは、通常、ループからクライアント側のアプリケーションを取って、基礎となる帯域幅をテストすることをお勧めします...

あなたがデカオス製品...アカウントマネージャーに連絡して、次のステップを検討してください。

ありがとうございます！