ウェブページの完全なHTMLソースを取得できません

Question

crawlerプログラムをRubyとNokogiriでコーディングしたいと思います。 私の目標ウェブサイトのURLはapk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=3

です。検索のURLはhttp://apk.hiapk.com/searchpid=0&key=%E5%8A%A9%E6%89%8B&pi=3です。私はこのコードをしようとすると

：

url = URI.encode("http://apk.hiapk.com/search?pid=0&key=#{key}&pi=#{page}") 

content = client.get_content(url) 

html_doc = Nokogiri::HTML(content) 

を、私はこのページのHTMLを取得しますが、HTMLは完全なソースではない、それが欠落しているいくつかのHTMLの要素を持っています。

Firefoxを使用してこのURLにアクセスすると、完全なHTMLソースを取得できます。私は何が起こったのか、そして理由を知りたい。このウェブサイトではどの技術が使われていますか？

Answer 1

私は

Nokogiri::HTML(open("http://apk.hiapk.com/search?pid=0&key=%E5%8A%A9%E6%89%8B&pi=10")) 

を使用する場合、それが成功した、と私は完全なHTMLソースを取得します。

だから私はその理由を知っていた。