私は現在gamespotに似たビデオゲームのレビューサイトを設計しています。名前、パブリッシャー、リリース日などの情報を含むオンラインデータベースがどこにあるか不思議です。私は本当に各タイトルを手動で入力したり、ユーザーが手動でタイトルを入力したりする必要はありません。ビデオゲームの最新リストはどこで入手できますか？
これらの大きなサイトでは、このような情報はどこにありますか？私はそれが手動ではないと思います。私は映画IMDBが存在することを知っている。
データベースに追加するにはどうすればよいですか？
おかげ
私はセクション法的問題との行儀のボットを必ずお読みくださいweb scraping?
にあなたを指すこと。
Amazonやそのproduct advertising APIが常にあります。より古くて面白いコードスニペットはon this pageです。
Perlを知っているなら、WWW :: Mechanizeと呼ばれる迫り来るモジュールがあります
あなたは、どんなウェブサイトにでもアクセスし、必要なデータを取得するためのスクリプトを書くことができます。
たとえば、www.gamespot.comにアクセスして、以下のようなリストを取得してデータベースに入れることができます。
http://www.gamespot.com/games.html?platform=1029&mode=all&sort=views&dlx_type=all&sortdir=asc&official=all&tag=games%3Bfooter%3Bmore