大量のREST APIコールを処理する方法は？

Question

私は数十万のレコードを持つサイトをREST API呼び出しでエクスポートする必要があります。

mysql dbに格納されているすべてのレコードIDを取得する必要があります。次のIDを取得するPHPスクリプトがあり、カールを使用してAPI呼び出しを行い、データを保存し、完全なIDとしてマークしてからページをリロードします。

これはかなり遅いです。それをスピードアップする方法のアイデア？

Answer 1

残念ながら、スレッドレベルの並列性（または実際には任意のレベルの並列性）をエミュレートしようとすると、.... PHPでうんざりします。幸いにも、あなたが必要とする特定のユースケースに対してhttp://php.net/manual/en/function.curl-multi-exec.php

これは基本的に複数のカールハンドルを並列に（少なくともページのHTMLコンテンツを取得するI/O）実行します。ドキュメントで提供されている例はまあまあです。それ以上の助けが必要な場合はお知らせください。