pythonでgoogle検索が可能ですか？

現在Google検索結果を掻くのは少し難しいですか？次のように私は私のプログラム、Mac上のpython3でGoogleでのキーワードの最初の5 URLを見つけたい：pythonでgoogle検索が可能ですか？

import requests, bs4 


word =input() 


res = requests.get('https://www.google.co.in/search?q='+str(word)) 


page =bs4. BeautifulSoup(res.text,"lxml") 


result=page.select("a.href") 


...

いくつかの障害があります。

これらの問題を解決する方法

OSError: [Errno 65] No route to host

requests.packages.urllib3.exceptions.NewConnectionError: : Failed to establish a new connection: [Errno 65] No route to host

？

出典

2017-08-07 andy

"可能"？はい。しかし、APIキーを取得して使用しない限り、Googleの利用規約に違反します。 –

Googleはウェブスクレイパーを検出して停止するシステムを備えていますが、これはネットワーク接続エラーの可能性があります – ZuluDeltaNiner

あなたのPythonインタープリタはインターネット接続を許可されていますか？私はMacが、OS XがPythonからの接続をブロックしているという警告を表示したことを覚えています。設定に行き、ファイアウォールでのアクセスを有効にしてください。 – ForceBru

Google検索のWebページをスクラップすることは不可能ではありません。あなたのブラウザがどのように振る舞い、この情報を自身で一般的なブラウザとして使用するかをスクリプトで確認する必要があります。これは、ヘッダーを使って遊ぶこと、GETリクエストがどのように構築されるか、おそらくいくつかのAJAX関数が模倣するなどです。

requestsこれを達成するためのリクエストのカスタマイズを非常にうまく行うことができます。

出典

2017-08-07 20:07:30

あなたのアドバイスありがとうございます – andy

いつでも;）。あなたがリクエストを処理する方法についてより具体的な質問をしたら、私はあなたを助けることができました –

私に連絡を1つ与えることができますか？ – andy

pythonでgoogle検索が可能ですか？

答えて

関連する問題