Pythonで大規模な疑似XMLファイルを解析する

Question

構造化されたマークアップデータの大きなファイル（> 5GB）を解析しようとしています。データ形式は基本的にXMLですが、明示的なルート要素はありません。それを行う最も効率的な方法は何ですか？

SAXパーサーの問題は、ルート要素を必要とするため、データストリームに擬似要素を追加するか（PythonのJavaのSequenceInputStreamと同じですか？）、またはSAXに準拠しないイベントベースのパーサー（sgmllibの後継者はありますか）

データの構造は非常に単純です。要素の基本的なリスト：

<Document> 
    <docid>1</docid> 
    <text>foo</text> 
</Document> 
<Document> 
    <docid>2</docid> 
    <text>bar</text> 
</Document> 

*実際にあなたがxml.sax.parseに 'ストリーム' オブジェクトを渡すことができ

Answer 1

http://docs.python.org/library/xml.sax.html

注意を反復処理します。これはおそらくparse呼び出しにファイルのようなメソッド（例えばreadのような）を持つオブジェクトを渡すことができることを意味します。自分のオブジェクトを作成します。最初にあなたの仮想ルートの開始タグを置き、次にファイルの内容、終了タグ。私はreadメソッドを実装する必要があると思う...しかし、これはあなたが使用するサックスパーサーに依存するかもしれません。私の作品

例：

import xml.sax 
import xml.sax.handler 

class PseudoStream(object): 
    def read_iterator(self): 
     yield '<foo>' 
     yield '<bar>' 
     for line in open('test.xml'): 
      yield line 
     yield '</bar>' 
     yield '</foo>' 

    def __init__(self): 
     self.ri = self.read_iterator() 

    def read(self, *foo): 
     try: 
      return self.ri.next() 
     except StopIteration: 
      return '' 

class SAXHandler(xml.sax.handler.ContentHandler): 
    def startElement(self, name, attrs): 
     print name, attrs 

d = xml.sax.parse(PseudoStream(), SAXHandler()) 

Answer 2

は、迅速かつ汚い答えは（Stringとして）ルート要素を追加することになるので、それが有効なXMLになります。

よろしくお願いいたします。

Answer 3

Answer 4

xml.parsers.expat ..ルート要素を追加し、SAX、STAXまたはVTD-XMLを使用する - 進出を用いた高速XML解析 xml.parsers.expatモジュールは、Expatの非へのPythonインタフェースです検証XMLパーサ。このモジュールは、XMLパーサーの現在の状態を表す1つの拡張タイプxmlparserを提供します。 xmlparserオブジェクトが作成された後、オブジェクトのさまざまな属性をハンドラ関数に設定できます。 XML文書がパーサに送られると、XML文書の文字データとマークアップに対してハンドラ関数が呼び出されます。

さらに詳しい情報：http://www.python.org/doc/2.5/lib/module-xml.parsers.expat.html