類似の特性を持つ2つの部分をマージするコードへの変更

Question

以下は、特定の深さのページのURLを取得するリンククローラです。最後に、クロールされたばかりのURLのすべての電子メールに一致する正規表現を追加しました。 2番目の部分で分かるように、file_get_contentと同じページがダウンロードされました。つまり、実行時間と帯域幅が2倍になることを意味します。

最初にダウンロードしたページを使用して、もう一度やりますか？ありがとうございました。

function crawler($url, $depth = 2) { 

    $dom = new DOMDocument('1.0'); 
    if (!$parts || !@$dom->loadHTMLFile($url)) { 
     return; 
    } 
. 
. 
. 

//this is where the second part starts 

    $text = file_get_contents($url); 
    $res = preg_match_all("/[a-z0-9]+([_\\.-][a-z0-9]+)*@([a-z0-9]+([\.-][a-z0-9]+)*)+\\.[a-z]{2,}/i", $text, $matches); 

} 

Answer 1

置き換えます

$text = file_get_contents($url); 

で：

$text = $dom->saveHTML(); 

http://www.php.net/manual/en/domdocument.savehtml.php

代わりに、あなたの関数の最初の部分では、あなたがfile_get_contentsを使用して変数にHTMLを救うことができますそれを$dom->loadHTMLに渡します。そうすれば、正規表現で変数を再利用することができます。

http://www.php.net/manual/en/domdocument.loadhtml.php