ウェブサイトからのトローリングデータ

Question

ウェブサイトの価格をアプリに取り込む最良の方法は何ですか？価格は私に渡されていないので、毎日アプリで使用するウェブサイトの商品や価格を自動的に検索する方法が必要です。アプリを構築しているソフトウェアはまだ決まっていません:)

Answer 1

私はcurlを使って特定のWebページから特定のデータを取得します。 私のwebappは、特定のWebページからデータを取得するために私のサーバー上のPHPスクリプトを呼び出します。

次のコードでは、最新の新聞にリダイレクトするe-pages.dkの機能を利用して、最新の新聞の番号をキャッチし、その番号を呼び出し元のWebアプリケーション（コードは表示されません）に返します。

$urltopost = 'http://www.e-pages.dk/vesthimmerlandsavis/'; 
$ch = curl_init($urltopost); 
curl_setopt($ch, CURLOPT_URL, $urltopost); 
curl_setopt($ch, CURLOPT_HEADER, true); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); 
$log->write('URL: '.$urltopost, __FILE__, __LINE__); 
$response = curl_exec($ch); 
// Catch redirection 
if (preg_match('#Location: (.*)#', $response, $matches)) 
{ 
    $redirect = trim($matches[1]); 
    // $redirect = '/vesthimmerlandsavis/472' 
    $log->write('Redirection: '.$redirect, __FILE__, __LINE__); 
} 
else 
{ 
    die('Could not find newest newspaper'); 
} 

// Catch number in /vesthimmerlandsavis/472 
preg_match_all($pattern, $redirect, $matches); 
$currentNumber = $matches[0][0]; 
$log->write('Current number: '.$currentNumber, __FILE__, __LINE__);