Python Web Scraper/Crawler - HTMLテーブルからExcelスプレッドシートへ

Question

私はウェブサイトからテーブルを引き出し、Excelスプレッドシートに貼り付けるウェブスクレーパーを作ろうとしています。私はPython初心者です（そして一般的にはコーディング） - 文字通り数日前に学習を始めました。

このWebスクレーパー/クローラーを作成するにはどうすればよいですか？私が持っているコードは次のとおりです。

import csv 
import requests 
from BeautifulSoup import BeautifulSoup 

url = 'https://www.techpowerup.com/gpudb/?mobile=0&released%5B%5D=y14_c&released%5B%5D=y11_14&generation=&chipname=&interface=&ushaders=&tmus=&rops=&memsize=&memtype=&buswidth=&slots=&powerplugs=&sort=released&q=' 
response = requests.get(url) 
html = response.content 

soup = BeautifulSoup(html) 
table = soup.find('table', attrs={'class': 'processors'}) 

list_of_rows = [] 
for row in table.findAll('tr')[1:]: 
list_of_cells = [] 
for cell in row.findAll('td'): 
    text = cell.text.replace(' ', '') 
    list_of_cells.append(text) 
list_of_rows.append(list_of_cells) 

outfile = open("./GPU.csv", "wb") 
writer = csv.writer(outfile) 
writer.writerow(["Product Name", "GPU Chip", "Released", "Bus", "Memory", "GPU clock", "Memory clock", "Shaders/TMUs/ROPs"]) 
writer.writerows(list_of_rows) 

ここでは、上記のコードにあるWebサイトのプログラムが動作しています。このページ上の複数のテーブルがあることをhttps://www.techpowerup.com/gpudb/2990/radeon-rx-560d

注：

は今、私は、次のWebサイトからテーブルをこすりしたいです。このページでプログラムを動作させるには、何を追加/変更する必要がありますか？私はすべてのテーブルを手に入れようとしていますが、もし誰かが私を助けることができれば、私はそれをとても高く評価します！

Answer 1

本質的に、サイトにいくつかのテーブルがあるという事実を説明するために、あなたの質問にあるコードを変更するだけです！

BeautifulSoup（BS）については、本当にきれいな（または、私が言う、美しい）のは、findAllの方法です！これにより、繰り返し処理できるBSオブジェクトが作成されます。

ソースに5つのテーブルがあるとします。 tables = soup.findAll("table")を実行すれば、ソースコード内のすべてのテーブルオブジェクトのリストを返すことができます。その後、そのBSオブジェクトを反復処理して、それぞれのテーブルから情報を取り出すことができます。

あなたのコードは次のようなものを見ることができる：

import csv 
import requests 
import bs4 

url = 'https://www.techpowerup.com/gpudb/2990/radeon-rx-560d' 
response = requests.get(url) 
html = response.content 

soup = bs4.BeautifulSoup(html, "lxml") 

tables = soup.findAll("table") 

tableMatrix = [] 
for table in tables: 
    #Here you can do whatever you want with the data! You can findAll table row headers, etc... 
    list_of_rows = [] 
    for row in table.findAll('tr')[1:]: 
     list_of_cells = [] 
     for cell in row.findAll('td'): 
      text = cell.text.replace(' ', '') 
      list_of_cells.append(text) 
     list_of_rows.append(list_of_cells) 
    tableMatrix.append((list_of_rows, list_of_cells)) 
print(tableMatrix) 

このコードは動作しますが、私は元のコードが持っていたことをフォーマットするCSVファイルのいずれかを追加していないことに注意してくださいでしょうが！しかし、それはあなたのために働くことを再設計する必要があります。しかし、私はあなたがソースの各テーブルのために何をしても絶対に自由を持っている場所でコメントしました。あなたは各テーブルオブジェクトの要素をfindAll("th")に決めて、そのようなCSVファイルを設定するか、セル自体から情報を抽出することができます。今、各テーブルのセルデータをタプルに保存します。これをリストtableMatrixに追加します。

私はこれがあなたのPythonとBeautifulSoupの冒険に役立つことを願っています！

出典：

• BeautifulSoup extracting data from multiple tables
• Python Web Scraper/Crawler - HTML Tables to Excel Spreadsheet
• BeautifulSoup4 Docs