掻き集めるときに「無限」のウェブページを扱う方法

Question

私は、Facebookのブックマークから友人のリストを取得し、そのデータを使ってウェブを構築するという目的で、相互の友人のリストを削っています。私は公式のFacebookのapiを見ました。それはできないようですので、私は単にウェブページから掻き集めることにしました。

機械化を使ってログインした後、私はページを掻き出して、一度に20人の友人だけを読み込み、スクロールするにつれて読み込みが増えることを発見しました。私は彼が文書を機械化して見ましたが、私は解決策を見つけることができませんでした。私は数秒間寝る前にページをスープしていて、それもうまくいきませんでした。

ここからどこに行くのかわからない、とにかく機械化のスクロールをエミュレートするにはどうすればよいですか？

Answer 1

あなたは、実際のWebページをシミュレートするSeleniumを使用していない限り、あなたは「スクロール」をシミュレートすることができませんが（窓なし、したがって、窓なしの高さがない場合、どのようにスクロールするのですか？）

あなたはそこだと述べていますあなたが友人の友達をフェッチすることを可能にするAPIには何もありませんが、ユーザの友人リストを取得できるようにAPI functionがあるようです。

それでもうまくいかない場合は、FBが友だちの次のリストを取得するために使用するajaxを追跡し、それを使用して詳細情報を取得します。