'User-Agent'パラメータの迷惑な値でもコードは完璧に実行されます

Question

私のUser-Agentパラメータに迷惑な値を入れても、私の次のコードは完全に実行されます。私は、User-Agentパラメータが私のプログラムに何の違いも生じないように、次のプログラムに基づいて最終的に実現するために、異なるUser-Agentパラメータを試して、私のクロールの問題を解決するよう努力してきました。これはどうやってできますか？

システム：Ubuntuの16.04、パイソン3.5

import urllib.request 
req = urllib.request.Request('http://example.com', headers = {'User-Agent': "junkvalues-dsfafew"}) 
x = urllib.request.urlopen(req)  # open the url 
sourceCode = x.read() # get the source code 
print (str(sourceCode)) 

Answer 1

絶対に何も要求のあなたの終わりには、どのような方法でのUser-Agentを気に。訪問者が使用しているブラウザに関する統計情報を収集したり、必要な新しいテクノロジーをサポートしていない古いブラウザに別のバージョンのページを提供したりすることもできます通常のページでサーバーが認識されないUser-Agentでリクエストを拒否する可能性は確かですが、一般的には悪い考えです。通常とは異なるブラウザーでサイトを使用できなくなるか、サイトのプログラムより新しいブラウザーになります。 。