scrape

0熱

2答えて

Webページのhtmlコンテンツを取得してからテーブルの内容をスクラップするPerlスクリプトを作成したいと思います。正確なページは次のとおりです。 http://djbpmstudio.com/Default.aspx?Page=album&id=1 これまでのところ、私はアーティスト、アルバム、およびジャンルはRegexだけでなく、以下のコード使用して、表の最初のエントリができています：では

-2熱

1答えて

Ipad用のUser-Agentを使用してサイトをスクラップする方法は？

Ipad用のUser-Agentを使用してサイトをスクラップするにはどうすればよいですか？以下のコードはPHPでcurlを使用してソースを出力しますが、タグはまだ見つかりません。 Ipad User-Agentを使用するIpadまたはSafariブラウザでは、サイトが読み込まれるとタグが表示されます。ありがとうございます！ <?php $useragent= "Mozilla/5.0

0熱

1答えて

ReGex問題プレイヤー数を取得

各プレイリストのプレイヤー数を削りたいです。値はカンマなしです。 NOBLE MAP PACK (652 Players)</span><span> </span></a></li> 上記は「652」のリスト項目の1つです。 $c = curl_init(); curl_setopt_array($c, array( CURLOPT_URL => 'http://www.b

0熱

1答えて

ページを解析して、入力フィールドの内容を取得しますか？

PHPを使用してページを開き、2つの入力フィールドから2つの値を取得したいとします。入力フィールドがとても似ています： <input type="hidden" name="__ONE" id="__ONE" value="/randomletters" /> <input type="hidden" name="__TWO" id="__TWO" value="/randomletters"

3熱

1答えて

AJAXサイトをスクラップするためにmechanizeをうまく使用する方法

ウェブスクレイピングにはかなり新しいです。このサイトにはテーブルがあり、テーブルの値はJavascriptによって制御されます。値は、私のブラウザがJavascriptから要求するように言われる将来の値のアドレスを決定します。これらの新しいページにはJSONレスポンスがあり、スクリプトがブラウザでテーブルを更新します。私はurlを受け取り、ボディレスポンスを吐き出す機械化メソッドを使ってクラスを

0熱

5答えて

ブラウザでGoogleのURLをスクレイプする最も簡単な方法は？

私は、Googleを介して検索する際に検索したすべてのURLをスクラップしたいと思います。私はスクリプトを作ろうとしましたが、Googleはそれを気に入らず、Cookieのサポートとキャプチャを追加するのは面倒です。私は、Googleの検索ページを閲覧しているときに、ページ上のすべてのURLを単純に.txtファイルに入れたり、何らかの形で保存したりすることを探しています。これを行う何かを知ってい

-1熱

1答えて

cURLを使用してプログラムで検索エンジンを使用することは合法ですか？

私は、cURLを使用してBingに検索リクエストを行い、検索結果を使用したいと考えています。彼らはサービスの条件に違反していますか？もしそうなら、あなたはそれが言うURLを投稿してください。私は1つを見つけることができませんでした。 http://explore.live.com/microsoft-service-agreement?ref=none&mkt=en-us ビングをRSSとして、検

0熱

2答えて

PHPで検索クエリのデータを掻き集める

私はPHPを使用しています。私はクエリを受け取り、一致するいくつかのデータファイルを返すこのURLを持っています。と言ってください。www.example.com/search?q=$query ここで、$ queryは検索語句が何であれです。ただし、ブラウザのURLにアクセスすると、その情報が入ったテキストファイルがダウンロードされます。アルファベット全体と10文字までのすべての文字を組

0熱

1答えて

Extract Google Search Result Redirects

私はextract the URLs of Google search resultsにいくつかのstackoverflow投稿を読み、python、curl、およびbeautifulsoupを使って同様の実装を書いています。私の質問は、結果を右クリックして[リンクの場所をコピー]を選択したときなど、Googleのリダイレクトリンクを抽出するにはどうすればよいですか。おかげで、チャド

0熱

1答えて

C＃.net System.Net.WebClient ..サーバー側かどうか

コンテンツタイプJSON形式の単純なresponse.writeを実行するC＃.net webformがあります。 Androidの携帯電話からのTinyWebDB API呼び出しを含めて、私がテストしたすべてのクライアントの偉大な作品ですが、この質問についてはAPIについて心配する必要はありません。次のように、Webページを読み書きするために、そのWebフォームにサーバーサイドコードを追加しま