Python：CSVファイルの要求を掻き集める

Question

ここに頻繁に、長いlurker：私は通常、ここで私の質問に答えて見つける。しかし、私はおそらく、私を逃れる単純で曖昧なプロジェクトに出会った。私はPython（現在はバージョン3.6を使用しています）にはかなり新しいです。私が探しています

：私が言うことができるものからhttps://www.ishares.com/us/products/239726/

は、ここに関連するいくつかのjqueryのものがあります：ページの「ホールディングス」の部分の近くに探して。 「トップ10」の代わりに「すべて」が選択されている場合、保有分を取得するオプションがあります。

特定の履歴月が選択されている場合は、.csvをダウンロードするように求められます。私がしたいのは、2006年9月29日にドロップダウンリストから作成された各csvファイルを取得することです。つまり、このドロップダウンリストで指定された各要求に対して生成された.csvファイルを自動的にダウンロードします。

私はpandasとbs4、そしてそれほど普及していない他のライブラリに精通しています。背景として、私はデスクリファレンスをいくつか保有しています：Magnus Lie Hetlandの「Beginning Python」とWes McKinneyの「データ分析のためのPython：Pandas、NumPy、およびIPythonとデータの争い」

私は、この問題に近づく方法を少し見落としたいと思います。言い換えれば、ブレッドクラムは助けになりますが、誰もが私のためにこのすべての仕事をするよう求めているわけではありません。私は人間的に可能な限り探求し、学びたいと思っています。

おそらく私はどのライブラリ/メソッドを使用する必要がありますか？私はこれが完全に自由であると理解していますので、できるだけbs4とPandasに固執したいと思います。他のライブラリも同様に役立ちますが、それらが焦点になります。

ありがとうございます！

Answer 1

私は、ブラウザの開発ツールを使用してこの問題

に近づくのネットワーク要求が行われて検討する方法についていくつかの小さな方向をしたいと思います。歴史的な月を選択すると、リクエストが行われます。そのリクエストからURLをコピーすると、ペイロードを取得するリクエストを「再生」できるかどうかをブラウザにペーストできます。私はそれをテストした。さらに、クエリパラメータをきれいに見ることができます。彼らは難読化されていません。つまり、プログラムでURLを生成し、cURLまたはwgetを使用することができます。

"csv"のファイルタイプを指定しようとしましたが、空の応答が得られましたが、 "json"のファイルタイプを要求したときにデータが取得されました。 YMMV。がんばろう！