PHPで大規模なXMLを処理する最良の方法

Question

PHPで大規模なXMLファイルを解析する必要があります.1つは6.5 MBであり、さらに大きくなる可能性があります。 私が読んだようなSimpleXML拡張は、ファイル全体をオブジェクトに読み込みますが、これはあまり効率的ではありません。 あなたの経験では、何が最善の方法でしょうか？

Answer 1

大きなファイルの場合は、DOMパーサーではなくSAX parserを使用します。

DOMパーサーでは、ファイル全体を読み込み、メモリ内のオブジェクトツリーに読み込みます。 SAXパーサーを使用すると、ファイルを順番に読み込み、データ（開始タグ、終了タグ、CDATAなど）を処理するためのユーザー定義のコールバック関数を呼び出します。

SAXパーサーを使用すると、あなたが現在使っているタグのように自分自身を少し複雑にしていますが、大きなファイルの場合にはメモリの方がはるかに効率的です。

Answer 2

本当にデータをどうしたいのですか？あなたは効果的にそれを使用するためにすべてのメモリを必要としますか？

6.5 MBは今日のコンピュータの点でそれほど大きくありません。あなたのデータをストリーミングすることができる場合は、例えば、ini_set('memory_limit', '128M');

しかし、あなたはSAX parserを使用して見てみたいことがあります。それは本当にあなたの使用ニーズに依存します。

Answer 3

SAXパーサーは、Eric Petroeljeが推奨するように、大きなXMLファイルの方が適しています。 DOMパーサはXMLファイル全体にロードされ、xpathクエリを実行することができます。つまり、SAX（XML for Simple API）パーサーは一度に1行ずつ読み込み、処理のフックポイントを与えます。

• SAX例：http://www.codemiles.com/php-tutorials/php-sax-parser-in-action-t1436.html

Answer 4

SAXパーサを移動するための方法です。私はあなたが整理されたままでいなければ、SAXの構文解析が面倒なことがあることを発見しました。

大規模なXMLファイルを解析するために、STX（XML用ストリーミング変換）に基づくアプローチを使用します。私はSAXメソッドを使用して、現在のコンテキスト（つまり、ルートノードと現在のノードの間のノードのみ）のデータを追跡するSimpleXMLオブジェクトを構築します。次に、SimpleXMLドキュメントを処理するために他の関数が使用されます。

Answer 5

各行（StackOverflowデータダンプ）に要素があるようになった大きなXMLファイルを解析する必要がありました。この特定のケースでは、一度に1行ずつファイルを読み取り、SimpleXMLを使用して各行を解析するだけで十分でした。私にとっては、これは新しいことを学ぶ必要がないという利点がありました。

Answer 6

それが私の感想：

https://github.com/prewk/XmlStreamer

ファイルをストリーミングしながら、XMLのルート要素にすべての子を抽出する単純なクラスです。 pubmed.comの108 MBのXMLファイルでテストされています。大規模なXMLファイルでDOMDocumentを使用する場合は

class SimpleXmlStreamer extends XmlStreamer { 
    public function processNode($xmlString, $elementName, $nodeIndex) { 
     $xml = simplexml_load_string($xmlString); 

     // Do something with your SimpleXML object 

     return true; 
    } 
} 

$streamer = new SimpleXmlStreamer("myLargeXmlFile.xml"); 
$streamer->parse(); 

Answer 7

、load()方法の選択肢にLIBXML_PARSEHUGEフラグを渡すことを忘れないでください。

$checkDom = new \DOMDocument('1.0', 'UTF-8'); 
    $checkDom->load($filePath, LIBXML_PARSEHUGE); 

（120moのXMLファイルで動作します）