複数ページのRESTクエリをすばやく取得する方法

Question

私はpythonでgithub APIを使用しています。

Githubは、ほとんどのGETレスポンスを最大100項目/ページに制限します。各リクエストには数秒かかるため、20ページのリクエストは素晴らしいユーザーエクスペリエンスではありません。

どのような要求を並行して行うのですか？

Answer 1

これを行うにはいくつかの方法があります。最も簡単なのはおそらくconcurrent.futuresモジュール（またはPython 2.xではbackported version）のようなものを使用することでしょう。

しかし、GitHubはAPIにレート制限を適用しています。これらのレート制限を上回ることなく、好きなだけ多くのリクエストを行うことはできません。だから、HTTP/429のエラーをチェックして、それに応じて戻ってください。