CSS属性を掻き取るためにヘッドレスブラウザが必要ですか

Question

私の目標は、特定のCSS属性値をWebページから取り除くことです。 GuzzleとSymfonyのcss-selectorを使ってスクレーパーをセットアップしました。しかし、私は、CSSセレクタがjQueryと同じように動作しないことを認識しました。これは、.attr()メソッドがないと言うことができる限りです。

ヘッドレスブラウザ、ミンク、ヘッドレスクロム、phantom.jsを使用してページをレンダリングし、属性を見つける必要があると思っていますか？

Answer 1

ファントomJS（http://phantomjs.org/）は単体テストに使用するのに良いものです。

Chromeはv59でリリースされ、ヘッドレスモードでブラウザを実行できます。しかしそれはまだ窓のために働く。

ヘッドレスChromeはChrome 59で出荷されています。これは、ヘッドレス環境でChrome ブラウザを実行する方法です。基本的には、 クロムなしでChromeを実行している！ ChromiumとBlinkレンダリングエンジンによって提供される最新のWebプラットフォーム機能をすべてコマンドラインに提供します。

なぜ便利ですか？

ヘッドレスブラウザは、表示されたUIシェルが不要な自動テストおよびサーバ 環境のための優れたツールです。たとえば、 は、実際のWebページに対していくつかのテストを実行したり、 というPDFを作成したり、ブラウザがURLをレンダリングする方法を調べたりすることができます。

注意：//バージョン：ヘッドレスモードが Windowsのサポートは、あなたが持っているもの クロームのバージョンオープンクロムを確認するにはクローム60に来ているクローム59にMacとLinux上で利用可能です。

あなたはここでより多くの情報を見つけることができます：https://developers.google.com/web/updates/2017/04/headless-chrome

Answer 2

Minkは、提供するAPIと複数のドライバ（goutte、gecko/firefox ...）とのやりとりが可能なため、良い選択です。

生成されたCSSがjavascriptによって変更されていない場合は、mink + goutteが最適なオプションかもしれませんが、JavaScriptが何らかの形でjavascriptで変更された場合は、mink +セレンの設定が最適です（またはmink + zombie）。この第2のアプローチは、 "goutte"よりもセットアップが遅く、遅くなることを覚えておいてください。

domにアクセスする方法はjQueryと異なりますが、セレクタはほぼ同じですが、実際にはminkには4種類のセレクタが用意されています。

「xpath」セレクタを使ってほとんどすべてを行うことができます。私はまた、 "css" + NodeElementメソッドを検討することをお勧めします。これは、単純であり、ほとんどの場合に役立ちます。

ここでは、2つのアプローチとウィキペディアに基づく一例である。

$xPath = '//a[@id="js-link-box-en"]/@href'; 
$nodeElement = $this->getSession()->getPage()->find('xpath', $xPath); 
$theHrefValue = $nodeElement->getText(); 

Alternativelly：

は、あなたがwikiperia.orgに行くと、あなたは英語のエントリリンクを維持したいと想像

$nodeElement = $this->getSession()->getPage()->find('css', '#js-link-box-en') 
$theHrefValue = $nodeElement->getAttribute('href'); 

私はそれが決定を下すのに役立つことを望みます。