他のウェブサイトからデータを取得する

Question

私はデータベースを作成しなければならない書籍やその他の詳細を検索するためのウェブサイトを作成しています。そのような巨大なデータベースを作成することは忙しいでしょう。人々はウェブサイトのデータをどのように管理していますか？簡単な方法はありますか？

ウェブサイトは書籍を検索するようなものになり、その情報や購入する場所の詳細が表示されます。

Answer 1

Amazonなどの一部のWebサイトでは、Webサービス（つまりSOAPプロトコルなど）を介してデータベースにアクセスできます。通常、サービスは限られているか、そのようなサービスへのアクセスには料金を支払う必要があります。

他のサイトでは、このようなことはありません。データを取得する唯一の方法は、データの他のウェブページをスクレイプすることです（例えば、HTMLページをリクエストして必要な情報をスクラップするなど）。これは面倒です。ページテンプレートが変更された場合は、パーサーを変更する必要があります。多くの場合、違法であることは言及していません...

唯一の方法は、手動で入力するか、ユーザーに入力させることです。