2017-10-04 4 views
0

複数のWebサイトをtxtファイルのURLからスクラップしようとしています。 1行に1つのURLがあります。ファイルからリクエスト内の複数のURLを実行する方法

Import requests 
from bs4 import BeautifulSoup 

file = open('url.txt', 'r') 
filelines = file.readline() 
urllist = requests.get(filelines) 
soup = BeautifulSoup(urllist.content, "html.parser") 
content = soup.find_all("span", {"class": "title-main-info"}) 
print content 

しかし、それだけで、最後のURLコンテンツ(最後の行)を出力します。

私のコードです。私は間違っているの? ありがとう

答えて

1

これを試してください。それは動作するはずです:

import requests 
from bs4 import BeautifulSoup 

with open('url.txt', 'r') as f: 
    for links in f.readlines(): 
     urllist= requests.get(links.strip()) 
     soup = BeautifulSoup(urllist.content, "html.parser") 
     content = soup.find_all("span", {"class": "title-main-info"}) 
     print content 
+0

私は最初にそれを考慮していたはずです。ありがとう。それを編集するつもりです。 – SIM

+0

うん、それは働いている!ありがとう! – Jodmoreira

+0

@Jodmoreira、それが動作する場合、これを答えとしてマークすることを忘れないでください。 – SIM

関連する問題