Pythonでウェブサイトコンテンツをクロールする方法

Question

私はPythonを勉強しています。 1つのURLにコンテンツを取得したいウェブサイト上の1つのタイトルのすべてのテキストを取得し、ファイル.txtに保存します。いくつかのコード例を教えてください

Answer 1

Get all text in one title on the website私はあなたがページのタイトルを得ることを意味すると思いますか？

あなたはpipを持っている場合はまず、あなたがコード上に今

pip install beautifulsoup4

を使用し、BeautifulSoup

が必要になります：

今

from bs4 import BeautifulSoup 
from requests import get 
r = get(url).text 
soup = BeautifulSoup(r, 'html.parser') 
title = soup.title.string #I save the title to a variable rather then jus 
with open('url.txt', 'w') as f: 
    f.write(title) 

、スクリプトを持って、これまでURLを含むurl.txtというファイルが作成されます。