異なるURLからデータを抽出し、lxmlを使用してリストに回答を追加します。

Question

ジョブのリストを.htmlファイルに保存するスクリプトを作成しました。

コードは次のとおりです。ただし

from lxml import html 
import requests 

page = requests.get('https://www.fasthosts.co.uk/careers/current-vacancies') 

content = html.fromstring(page.content) 

Vacancies = content.xpath('//h1[@class="featuredvacancy__title featuredvacancy__title--invert grid-16 alpha"]/text()') 

f = open('scrapevacancy.html', 'w') 
f.write('<br>'.join(map(str, Vacancies))) 
f.close 

、私も実行するスクリプトは、与えられた仕事のために、各URLにアクセスし「今すぐ適用」ボタンがあるかどうかを確認し、への答えを追加することで必要なものscrapevacancy.htmlの結果はそれぞれ

これはまったく可能ですか？

Answer 1

from lxml import html 
import requests 

page = requests.get('https://www.fasthosts.co.uk/careers/current-vacancies') 
content = html.fromstring(page.content) 
Vacancies = content.xpath('//h1[@class="featuredvacancy__title featuredvacancy__title--invert grid-16 alpha"]/text()') 
f = open('scrapevacancy.html', 'w') 
li = [a.attrib['href'] for a in content.xpath('//a[@class="button button__primary featuredvacancy__button"]')] 
i = 0 
for l in li: 
    p = requests.get('https://www.fasthosts.co.uk/'+l) 
    c = html.fromstring(p.content) 
    apply = c.xpath('//a[@class="button button__primary button--dtfull"]') 
    if apply: 
     f.write(str(Vacancies[i]) + ' Yes <br/>') 
    else: 
     f.write(str(Vacancies[i]) + ' No <br/') 
    i=i+1 
f.close 

出力ファイル

Developer (Java/Python) Yes
Lead Quality Assurance Engineer Yes
Senior Financial Accountant - FTC up to 12 months Yes
HR Officer Yes
HR & Training Administrator Yes
Front-End Web Developer Yes
Data Centre Operative Yes