私はNokogiriを使用して、各国のWikipediaのページを開き、インターウィキのリンク(外国語のウィキペディアへのリンク)から他の言語でこれらの国の名前を抽出しています。しかし、the page for Franceを開こうとすると、Nokogiriはフルページをダウンロードしません。たぶんそれは大きすぎますが、とにかく私が必要とするインターウィキのリンクが含まれていません。どうすればそれを強制的にダウンロードすることができますか?なぜノコギリはフルページを読み込まないのですか?
は、ここに私のコードです:
url = "http://en.wikipedia.org/wiki/" + country_name
page = nil
begin
page = Nokogiri::HTML(open(url))
rescue OpenURI::HTTPError=>e
puts "No article found for " + country_name
end
language_part = page.css('div#p-lang')
テスト:
with country_name = "France"
=> []
with country_name = "Thailand"
=> really long array that I don't want to quote here,
but containing all the right data
たぶんこの問題は鋸山を超えてOpenURIに入る - とにかく私は、解決策を見つける必要があります。問題を傷つけヘッドのかなり後
open()はNokogiriではありませんか? –