PythonのWebスクラブ

Question

次のコードは空のリストを出力します。私はそれが株価を印刷することを期待する。どんな助けもありがとう。ありがとう！

import urllib.request 
import re 
companyList = ["aapl","goog","nflx"] 
for i in range(len(companyList)): 

    url = "https://finance.yahoo.com/quote/"+companyList[i]+"?p="+companyList[i] 
    htmlfile = urllib.request.urlopen(url) 
    htmltext = htmlfile.read() 
    regex = '<span class="Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)" data-reactid="35"><!-- react-text: 36 -->()(.+?)<!-- /react-text --></span>' 
    pattern = re.compile(regex) 
    price = re.findall(pattern, str(htmltext)) 
    print(price) 

Answer 1

私はいずれかの企業でそれを行います。しかし、私はあなたの会社が、私があなたにそれをする方法を示したことを誰にも言わないことを約束します。

ページのHTMLのコピーを取得し、ローカルに保存します。

>>> import urllib.request 
>>> import re 
>>> url = 'https://finance.yahoo.com/quote/AAPL/?p=AAPL' 
>>> htmlfile = urllib.request.urlopen(url) 
>>> htmltext = htmlfile.read() 
>>> open('temp.htm', 'w').write(str(htmltext)) 
533900 

は、ページを調べ、そしてあなたはこれと同様のページで確認できるようにしたい項目をコピー、貼り付けます。参照のためにコメントに入れてください。

>>> # <span class="Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)" data-reactid="35"><!-- react-text: 36 -->161.38< 

たとえば、expという変数に保存します。

>>> exp = '<span class="Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(ib)" data-reactid="35"><!-- react-text: 36 -->161.38<' 

文字列に複数の空白文字がないことを確認します。その後、存在する場合は、\ sの+

>>> exp.find(' ') 
-1 

プレフィックスを持つ単一の「\」文字ではRegexにとって重要な文字列内の各文字を空白の全体の文字列に置き換えます。

>>> re.sub(r'[().]', lambda m: '\\'+m.group(), exp) 
'<span class="Trsdu\\(0\\.3s\\) Fw\\(b\\) Fz\\(36px\\) Mb\\(-4px\\) D\\(ib\\)" data-reactid="35"><!-- react-text: 36 -->161\\.38<' 

結果を表示して調べます。

>>> regex = '<span class="Trsdu\\(0\\.3s\\) Fw\\(b\\) Fz\\(36px\\) Mb\\(-4px\\) D\\(ib\\)" data-reactid="35"><!-- react-text: 36 -->([^<]+)<' 

ターゲットアイテムを探すために正規表現を使用してください。

>>> re.findall(regex, str(htmltext)) 
['161.38'] 

Answer 2

以下のスクリプトが役立つかどうかを確認してください。これには、認証も含まれます。

https://github.com/PraveenKandregula/JenkinsRSSScrappingWithPython/blob/master/JenkinsRSSScrappingWithPython.py