アプリストアのデータをクロールする

Question

AppShopper.comがAppleのApp Storeでデータをクロールする方法を知っている人はいますか？ Watirのような自動テストを使用してブラウザをシミュレートする必要がありますか？これはデータを収集する唯一の方法ですか（統計情報をダウンロードするなど）。

Answer 1

iTunesで任意のリンクまたはアイコンを右クリックすると、その次のiTunesページで表示されるデータをダウンロードするためのURLが表示されます。 HTMLデータのフォーマットは、文書化されていない方法で定期的に変更されます。 wgetやcurlを使用してこれらのURLからデータをダウンロードする場合は、iTunesのユーザーエージェントと全国的な店頭の名前を模倣する必要があります。これは、ワイヤーサメのようなものでiTunesのトラフィックを監視することによって得ることができます。

Answer 2

あなたが言及したようなサービスの何百ものがあります...しかし、あなた自身のスクレーパーを構築することが

のは= XXXXXXXXX（あなたがIDを持つアプリケーションのために、英国内のすべてのレビューを確認したいとしましょう。..難しいことではありませんアプリケーションリンク上のiTunesを右クリックし、「リンクをコピー」を選択します）。あなたがあなたのブラウザでこのURLを入れる場合は

http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11

は、あなたがiTunesと見るであろう同量の情報を見ることができません：あなたは、ファイルを取得する必要があります。また、何も表示されないことがあり、ブラウザがiTunesを開くように要求することがあります。それでも、上記のURLはiTunesが訪問したものと同じです。iTunesだけで、Webブラウザとは少し違う方法でそれを求めています。これを行うには、ほとんどのGNU/Linuxディストリビューションでデフォルトで持っているコマンドであるcURLを使用できますが、Windowsでもインストールできます。

1. Windowsであり、カールがインストールされていない場合は、（http://curl.haxx.se/download.html）、それをダウンロードし、それを解凍して、PATH変数（http://www.computerhope.com/issues/ch000549.htm）にbinディレクトリを追加します。

2. ターミナルウィンドウ（META + R、数字CMD）を開きます。

あなたはカールがあなたの端末にカット＆ペースト、Windowsとの* nixの両方をインストールした後：

カール-H 'ホスト：itunes.apple.comは' -H「言語を受け入れます：アップルストア - フロント：143444,5 '-H' X-Apple-Tz：3600 '-U' iTunes/9.2.1（Macintosh;インテルMac OS X 10.5.8）AppleWebKit/533.16 '' http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11 '

iTunesで実際に表示されたXMLファイルとすべてのレビューが表示されます。

Answer 3

クロールは最良の方法ではありません。 partner feed programがあり、絶対に自由に参加できます。あなたに必要なデータを与えることができます。 FAQ