大きなXMLファイルを解析するためにNokogiri :: XML :: Readerを使用するにはどうすればよいですか？

Question

私はRubyのNokogiriを使用して、大きな（1 GB以上の）XMLファイルを解析しようとしています。私は小さなファイルにコードをテストしていますが、available hereという4つのレコードしか含まれていません。私はUbuntu 10.10でNokogiriバージョン1.5.0、Ruby 1.8.7を使用しています。私はSAXをよく理解していないので、Nokogiri :: XML :: Readerを起動しようとしています。

PMIDタグの内容を取得するために私の最初の試みは、次のようになります。

#!/usr/bin/ruby 
require "rubygems" 
require "nokogiri" 

file = ARGV[0] 
reader = Nokogiri::XML::Reader(File.open(file)) 
p  = [] 
reader.each do |node| 
    if node.name == "PMID" 
    p << node.inner_xml 
    end 
end 

puts p.inspect 

は、ここで私が見ることを望んだものです：

["21714156", "21693734", "21692271", "21692260"] 

は、ここで私が実際に見たものです。

["21714156", "", "21693734", "", "21692271", "", "21692260", ""] 

何らかの理由で、私のコードが、すべてのinstancに対して余分な空のPMIDタグを見つけている、または生成しているようですPMIDのe。どちらか、それともinner_xmlは私が思ったように動作しません。

私のコードとデータが表示された結果を生成することを誰もが確認でき、私が間違っている場所を示唆してくれればと感謝します。

Answer 1

ストリームの各要素は、要素を開くためのものと閉じるためのものの2つのイベントとして処理されます。オープニングイベントは

node.node_type == Nokogiri::XML::Reader::TYPE_ELEMENT 

を持っていますし、closingイベントは

node.node_type == Nokogiri::XML::Reader::TYPE_END_ELEMENT 

あなたが見ている空の文字列がイベントを閉じるだけの要素である必要があります。 SAXの解析では、基本的にツリーを歩いているので、2つ目のイベントが必要なときに、バックアップを取って要素を閉じる必要があることを覚えておいてください。

reader.each do |node| 
    if node.name == "PMID" && node.node_type == Nokogiri::XML::Reader::TYPE_ELEMENT 
    p << node.inner_xml 
    end 
end 

それとも：

reader.each do |node| 
    next if node.name  != 'PMID' 
    next if node.node_type != Nokogiri::XML::Reader::TYPE_ELEMENT 
    p << node.inner_xml 
end 

か、その上の他のいくつかのバリエーション

は、おそらくこのようなより多くの何かをしたいです。