ウェブサイトのページソースを表示できません

Question

私は単純なpythonスクリプトを書いて、ウェブサイトのページソースを表示しました。ウェブサイトはhttps://kissanime.toです。私は以下の小さなコードを使用しています。上記のプロセスが動作していないと

HTTP Error 403 : Forbidden

を次のようにエラーメッセージが表示されるが

import urllib2 
    url = 'https://kissanime.to' 
    link = urllib2.urlopen(url) 
    print link 

iは、コミュニティにおける上記の問題を見つけ解決策を試してみましたが、この思い付きました： -

 import urllib2 
    url = 'https://kissanime.to' 
    link1 = urllib2.Request(url,headers = {'User-Agent' : "Magic Browser"}) 
    link2 = urllib2.urlopen(link1) 

は、しかし、上記の方法でも失敗し、今私はエラーになっています： -

を

HTTP Error 503 : Service Temporarily Unavailable

この問題の回避策はありますか？私はPythonのこのWebクローリング機能には全く新しいものです。 助けてください。

Answer 1

ウェブサイトをチェックすると、何かをしている間に5秒待ってからメインコンテンツが表示されます。

私は「5秒待って」と言い、この最初のページで取得するには、requestsモジュールを使用：、しかし

import requests 

r = requests.get("https://kissanime.to/") 

# Throws an Insecure Platform warning on certain versions of python 

print r.content 

をあなたがこすりしたい正確にどのように応じて、あなたはボンネットの下に見ることによって開始することができますサイトがどのように構築されたかを把握し、必要なコンテンツをスクラップするための戦略を考案します。

私は、サイトで行われたネットワークコールを見て、すべてのコールにパラメータとクッキーが埋め込まれているという点でかなり頑固だと言わなければなりません。

具体的には、このウェブサイトからスクレイプすることをお探しですか？

それが言う最初のページを示す場合も、サーバは503を返している「5秒待って...」を