urllib2

-1熱

1答えて

私はurllib2を使ってhtmlのWebページからデータを解析していました。それはしばらくの間完全に働いていて、1つのWebサイトから永久に作業を停止しました。スクリプトが機能しなくなっただけでなく、どのブラウザからもウェブサイトにアクセスできなくなりました。実際、私がウェブサイトにアクセスできる唯一の方法はプロキシからのもので、私のコンピュータからのリクエストはブロックされていると私に信じて

0熱

1答えて

Lambda Python Pool.mapとurllib2.urlopen：失敗したプロセスのみを再試行し、エラーのみをログに記録する

pool.mapを使用して一連のURLを呼び出すAWSラムダ関数があります。問題は、いずれかのURLが200以外のものを返すと、Lambda関数が失敗し、ただちに再試行することです。問題は、即座に全ラムダ機能を再試行することです。私は失敗したURLだけを再試行したい、そして（2回目の試行後に）それでも失敗した場合は、エラーを記録するために固定URLを呼び出してください。それは、現在すべてのURL

0熱

1答えて

Base64エンコーディングの問題 - Python vs Powershell

authトークンをエンコードしてREST APIに渡そうとしていますが、これはpowershellでうまく動作しますが、Pythonスクリプトに同じメソッドを適用すると「許可されていない」例外がスローされます。エンコードされた値に問題があると思われます。解決策を見つけることができません。何か案は？残りのエンドポイントはIBM uDeployです。 PowerShellの $tokenEnco

1熱

1答えて

正確に 'e'とは何ですか？e.code（）やe.read（）は何をしますか？

try: response = urllib2.urlopen(request) except urllib2.URLError as e: response = json.loads(e.read()) return error(e.code(),response['errors'][0]['message']) response = json.loads(re

3熱

1答えて

ダウンロードプロセスの表示方法を教えてください。

urllib.request.urlretrieveを使用しているときに、ファイルサイズなどの情報と共に、コンソールにダウンロードされたダウンロードの状態を表示する方法があるのでしょうか？は、ここで私は上のテストしていたコードです： #!/usr/bin/env python3.5.2 import urllib.request import os # make sure to ch

0熱

2答えて

urllib2 - .csvファイル内の行数をカウントする - python

urllib2を使用して.csvファイル内の行数をどのように数えますか？私は以下のコードがあります。 import urllib2 url = 'http://www.spc.noaa.gov/climo/reports/' + year[2:4] + month + day + '_rpts_filtered.csv' response = urllib2.urlopen(url) fi

2熱

1答えて

ヤフー・ファイナンスAPIの問題

私のコードは、数日前に正常に動作しましたが、金曜日以来、私は次のエラーを取得されています： File "C:\Python27\Lib\urllib2.py", line 527, in http_error_default raise HTTPError(req.get_full_url(), code, msg, hdrs, fp) urllib2.HTTPError: HTTP

2熱

1答えて

Seleniumを使用している場合、BeautifulSoupのようなパーサーが必要ですか？

現在、一部のWebサイトからデータをクロールするためにSeleniumを使用しています。 urllibと違って、HTMLを解析するためにBeautifulSoupのようなパーサーは本当に必要ないと思われます。私は単純にSeleniumで要素を見つけ、Webelement.textを使って必要なデータを取得することができます。私が見たように、WebクローリングでSeleniumとBeautifulS

2熱

1答えて

urlretrieveのSSL検証を無効にするにはどうすればよいですか？

同様の質問がSOの周りに2,3回聞かれましたが、解決策はurlopenです。この関数は、あらかじめ設定されたSSLコンテキストを受け入れることができるオプションのcontextパラメータを取ります。 urlretrieveにはこのパラメータがありません。次のコールでSSL検証エラーを回避するにはどうすればよいですか？ urllib.request.urlretrieve( "http://