python urllibを使用して検索ボックスを検索するには？

Question

私はhttps://bigfuture.collegeboard.org

の検索ボックスに検索するためにurllibはを使用しているよここで私が持っているものだが、それはちょうど私のホームページのHTMLを与えている：

import requests 
from urllib import urlopen 
from urllib import urlencode 
from bs4 import BeautifulSoup 

url = "https://bigfuture.collegeboard.org" 
data = urlencode({'q': 'financial analyst'}) 
results = requests.post(url, data) 
soup = BeautifulSoup(results.content, 'html.parser').encode("ascii", "ignore") 

output = open('text.txt','w') 
output.write(soup) 

はどのようにして使うと、検索に提出しますボックス？

Answer 1

URLに/sitesearchエンドポイントを含める必要があります。私は「UConnの」を検索すると、サイトがヒットというURLは次のとおりです。

https://bigfuture.collegeboard.org/sitesearch?q=uconn&searchType=bf_site&tp=bf_site 

だから、あなたがする必要があるすべてはにあなたのURLを変更です：

url = "https://bigfuture.collegeboard.org/sitesearch" 

また、あなたがあなたを閉じていることを確認してくださいファイルオブジェクトまたはコンテキストマネージャーを使用with !!

Answer 2

意味URLでクエリパラメータを使用するだけです

E.G.

searches = ['test','new search'] 

for search in searches: 
    search = search.replace(' ','+') 
    url = 'https://bigfuture.collegeboard.org/sitesearch?q=%s&searchType=bf_site&tp=bf_site' % (search) 
    print url 
    requests.get(url)