実際のブラウザのヘッダーでもカールをブロックするウェブサイト

Question

私は、http://www.momondo.com.cn/が魔法の技術を利用していることに気付きました。 curlは動作しません。 URLはウェブブラウザでうまく表示されますが、curlはウェブブラウザのようにすべてのヘッダを追加しても常にタイムアウトを返します。

私もPythonリクエストとurllib2を試しましたが、どちらもうまくいきませんでした。

C:\Users\Administrator>curl -v -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36" -H "Connection: Keep-Alive" -H "Accept-Encoding:gzip, deflate, sdch" -H "Cache-Control:no-cache" -H "Upgrade-Insecure-Requests:1" -H "Accept-Language:zh-CN,zh;q=0.8" -H "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8" 
http://www.momondo.com.cn/ 
* About to connect() to www.momondo.com.cn port 80 (#0) 
* Trying 184.50.91.106... 
* connected 
* Connected to www.momondo.com.cn (184.50.91.106) port 80 (#0) 
> GET/HTTP/1.1 
> Host: www.momondo.com.cn 
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36 
> Connection: Keep-Alive 
> Accept-Encoding:gzip, deflate, sdch 
> Cache-Control:no-cache 
> Upgrade-Insecure-Requests:1 
> Accept-Language:zh-CN,zh;q=0.8 
> Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 
> 

なぜこれが起こりますか？モモンドはどのようにしてcurlを逃れることができますか？

Answer 1

どのようにリクエストを設定していますか？ requestsを使用している場合は、オブジェクトタイプSessionを使用して、ヘッダーを変更して再利用しやすくする必要があります。ブラウザで生成されたヘッダ（確かにtcpdumpでキャプチャされたヘッダ）を使ってそのサイト（すなわちtelnet www.momondo.com.cn 80）で直接telnetを使用すると、タイムアウトまでハングアップするのではなく内容が返されるため、何か特別なことをするようなことはありません。また、サイトにどのようなCDN（コンテンツ配信ネットワーク）があるのか​​を調べることに注意してください。この場合、アドレスはakamaiedge.netのサブドメインに解決されます。つまり、why they might have blocked youをチェックアウトすると便利です。

とにかく、requests.Sessionオブジェクトを指定したヘッダーを使用すると、応答が生成されました。

>>> from requests import Session 
>>> session = Session() 
>>> session.headers # check the default headers 
{'User-Agent': 'python-requests/2.12.5', 'Connection': 'keep-alive', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*'} 
>>> session.headers['Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' 
>>> session.headers['Accept-Language'] = 'en-GB,en-US;q=0.8,en;q=0.6,zh-TW;q=0.4' 
>>> session.headers['Cache-Control'] = 'max-age=0' 
>>> session.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36' 
>>> response = session.get('http://www.momondo.com.cn/') 
>>> response 
<Response [200]> 

まったく魔法ではないようです。

Answer 2

私はその理由を把握：

momondoは非現実的なWebクライアントをブロックするには、次の方法を使用しています。

1. ユーザーエージェントを検出します。カールのデフォルトのUAにすることはできません。
2. "Connection"ヘッダーを検出します。最初のテストでは「キープアライブ」ではなく「キープアライブ」を使用する必要があります。
3. "Accept-Encoding"ヘッダーを検出します。空ではありません。何でも使用できます。

最終的に私は今、コンテンツを取得するためにカールを使用することができます

カール-v -H「のUser-Agent：Mozillaの/ 5.0（Macintosh版、インテルのMac OS X 10_10_3）のAppleWebKit/537.36（ヤモリのようにKHTML、）クローム/ 44.0.2403.89 サファリ/ 537.36" -H "接続：キープアライブ" -H "同意エンコード： 何も" ところでhttp://www.momondo.com.cn/

、私は約7のためにウェブスクレイピングやってきました年。私は、この掻き取り防止方法を使用したウェブサイトに出会ったのは初めてです。それをマークする。