pd.read_htmlいくつかのページ

Question

私はいくつかのページをクロールしています。各ページには表があります。それが私が求めているものです。そして、ページのURLは最後の数字だけによって異なります。とにかく、pd.read_htmlを使用してすべてのテーブルを取得し、テーブルを1つのテーブルにマージすることはできますか？

import pandas as pd 
url_head = 'http://www.kmzyw.com.cn/jiage/today_price.html?pageNum=1' 
data =pd.read_html(url)[0] 

Answer 1

あなたは、ループ内のリストに各URLの出力を追加し、一つの大きなデータフレームの中にリストを組み合わせるために最後にpd.concatを使用することができます。

import pandas as pd 

df_list = [] 
for i in range(1, N): 
    url_head = 'http://www.kmzyw.com.cn/jiage/today_price.html?pageNum=%d' %i 
    df_list.append(pd.read_html(url)[0]) 

df = pd.concat(df_list) 

Nをあなたが持っているウェブページの数に置き換えます。