アドレスの値をウェブサイトで検索

Question

私は今この鉱山のジレンマにどう対処するかについて頭を悩ましています。私は、アドレスのリストを含む私のCSVファイルにアドレス列を持っています。私は、Pythonがcsvファイル内の個々のアドレス値を使って以下に指定されたWebサイトを検索し、その結果を新しいcsvファイルに保存するように指示したいと思います。例えば

import csv 
import requests 

with open('C:/Users/thefirstcolumn.csv') as csvfile: 
    reader = csv.DictReader(csvfile) 
    for row in reader: 
     print(row['Address']) 

website = requests.get('https://etrakit.friscotexas.gov/Search/permit.aspx') 

writer = csv.writer(open('thematchingresults.csv', 'w')) 

print website.content 

：私はcsvファイルで持っているアドレス値の

ワン：私は手動で検索ボックスにアドレスを貼り付けるとき

6525 Mountain Sky Rd 

は、データの3つの行を返します。どのように私はウェブサイト上のcsvファイル内の各アドレスを検索し、新しいcsvファイルに各アドレスの結果を保存するようにPythonに指示できますか？この山岳の仕事をどうすれば達成できますか？

Answer 1

要求モジュールは、Webサイトから静的なHTMLページをダウンロードします。あなたはあなたがあなたがCSVファイルで持っている各値のPOSTリクエストを行う必要があるだろう

from selenium import webdriver 
from bs4 import BeautifulSoup 
import time 
driver = webdriver.Firefox() 
driver.get('https://etrakit.friscotexas.gov/Search/permit.aspx') 
#read in addresses 
with open('file.csv','r') as f: 
    adresses = f.readlines() 

# use css selectors to locate search field 
for address in adresses: 
    driver.find_element_by_css_selector('#cplMain_txtSearchString').clear()  
    driver.find_element_by_css_selector('#cplMain_txtSearchString').send_keys(address) 
    driver.find_element_by_css_selector('#cplMain_btnSearch').click() 
    time.sleep(5) 
    # JS injected HTML 
    soup = BeautifulSoup(driver.page_source) 
    # extract relavant info from the soup 
    # and save to your new csv here 

Answer 2

例えば、ウェブサイト

と対話するSeleniumを使用する必要があるのJavascript

と対話することはできません。たとえば、「6525 Mountain Sky Rd」をhttps://etrakit.friscotexas.gov/Search/permit.aspxで検索するには、デベロッパーコンソールでどのPOSTパラメータが表示されているかを確認できます。たとえば：

あなたはrequestsのようなものを使用し、ヘッダの値とフォームデータを渡すか、ブラウザをエミュレートするcasperまたはseleniumのようなものを使用することができますすることができます。