scrape

1熱

4答えて

いくつかの結果のためにページをスクラップするための簡単なスクリプトを作成しています。正規表現内の空白と改行を無視する方法がわかりません。 $regex = '/<td class="things"><div class="stuff"><p>(.*)<\/p><\/div><\/td>/i'; どれでも役立つだろう：私は、スペースや改行を無視するには、次の正規表現を変更する方法を <td cl

0熱

2答えて

スクレイプウェブサイトは、私は宝くじのシンジケートを実行している特定のli要素

を取得し、（英国国立宝くじ）宝くじ番号をチェックするために我々のシステムを自動化するために私は取得していますURLは次のとおりです。https://www.national-lottery.co.uk/player/p/results/lotto.ftl そして私は、私はページのこの領域、すなわち数字をつかむことができるようにしたいと思い <?php $html = file_get_cont

6熱

4答えて

Python：Googleの画像検索から画像をダウンロードするための正しいURL

Google画像検索から特定のクエリの画像を取得しようとしています。しかし、私がダウンロードしたページには写真がなく、Googleのオリジナルのページにリダイレクトされます。ここに私のコード： AGENT_ID = "Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1" GOOGLE_URL = "htt

1熱

2答えて

私は自分のブログに投稿するリンクを削り取るFacebookを得ることができません

私が作ったブログ投稿にFacebookのリンクを投稿すると、正しい画像が表示されません。私は私のブログのコードのすべての種類のものにogタグを追加しようとしましたが、何も働いていません。助けて！私はリンターを試しました。これが私の得意です。推論プロパティ：他のタグから値を推測できる場合でも、 'og：description'プロパティを明示的に指定する必要があります。推論プロパティ：他のタグか

1熱

1答えて

Nokogiri/xpathを使用して、巨大なHTMLファイルからテキストを取り出す

私はウェブサイトを削って、HTMLから特定の要素を取り出そうとしています。私はこする午前のサイトでは、その中の情報の束とスクリプトタグは、しかし、私が興味を持って、これらのタグ内の1つの部分があるがある行は、基本的には次のようになります。いくつかと 'image':'http://ut5.example.com/t/231/3_b_643435.jpg', それの上と下のもの。今、これは各ペー

0熱

2答えて

ファイルからテキストをスクラップして表示する - 非標準形式 - php

私は定期的に変更されるテキストファイルを持っていますので、画面に表示してデータベースに挿入する必要があります。次のようにテキストをフォーマットする： "Stranglehold" Written by Ted Nugent Performed by Ted Nugent Courtesy of Epic Records By Arrangement with Sony Music Lic

1熱

2答えて

PHPでクッキーとJavaScriptが必要なページをこする方法

クッキーとJavaScriptを必要とするWebページをスクラップしてPHPスクリプトでエミュレートする簡単な方法はありますか？電流応答が示しています <body><noscript>This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade you

0熱

1答えて

htmlテーブルの任意の数の行（キー：値のペア）を解析するためのscrapyの使用

最近、scrapyライブラリの作業が開始されました。私は彼らが販売している製品の種類ごとに若干異なる表を持つウェブサイトから掻き集めようとしています。最終的には、データを使用してオブジェクトの属性を設定します。今のところ、JSON形式に抽出するだけです。ここは、例えばテーブルである： <table id="table_1"> <tr id="row_1"> <td>cell_1</t

1熱

1答えて

スクリーンスクレーピング用のvt220端末のJavaエミュレーション

Java 1.6を使用してvt200 telnet接続のスクラップを行う必要があります。 InputStremとOutputStreamとのシンプルなTelnet接続を使用しようとしましたが、サーバーが不安定で、私が80列のvt220端末ではないことが判明したら、接続を閉じます。私はopensourceまたは無料のライブラリを探していますが、見つけられません。私を助けることができますか？おか

0熱

1答えて

インターネットからの情報を集約するために使用する技術は何ですか？

SeoMozのような企業は、インターネットから大量の情報を集め、独自のリンクインデックスを構築するためにどのような技術を利用していますか？同じことがGoogleや検索エンジンにも当てはまります。 PHPやカールよりもはるかに複雑だと思いますか？