シンプルなpython Webクローラーを作成しようとしています

Question

私はPython 2.7のデータ解析コードを学習することに決めました。そして、基礎をよく理解するためにYouTubeで多くのチュートリアルを見てきました。

私は、さまざまな手法を学ぶだけの教育目的で簡単なWebクローラーを作成し、いくつかのコーディングに慣れる段階にあります。

私はWebクローラーのチュートリアルに従っていますが、私はいくつかのことについてはわかりません。これはこれまで私が持っているものです：

私はhrefリンクを分けて、テキストと日付情報を表示させることはできません。

私はそれが次のようになりたい：記事

リンクの

1. 名前条
2. に条

の日は、誰かがこれらのステップだった理由についていくつかの情報を助けてもらえどう？

非常に高く評価されました！

Answer 1

bs4では、すべてのノードが接続されていて、すべてのリンクノード（実際にdivです）を取得した場合、タグAのような子を取得したいので、link.aはokです。

ノードは2つの部分値を持ち、1つは属性、a['href']によるアクセス、およびa.textによるコンテンツアクセスです。 PS

for link in statements: 
    print(link.a['href']) 

：

<a href="/Legislation-and-Politics/Legislative-Alerts/Letter-to-Representatives-opposing-the-Fairness-in-Class-Action-Litigation-and-Furthering-Asbestos-Claim-Transparency-Act">Letter to Representatives opposing the "Fairness in Class Action Litigation and Furthering Asbestos Claim Transparency Act"</a> 

このlink.aある[ 'のhref']：

<div id="legalert_title"><a href="/Legislation-and-Politics/Legislative-Alerts/Letter-to-Representatives-opposing-the-Fairness-in-Class-Action-Litigation-and-Furthering-Asbestos-Claim-Transparency-Act">Letter to Representatives opposing the "Fairness in Class Action Litigation and Furthering Asbestos Claim Transparency Act"</a></div> 

このlink.aある： このリンク変数であります

/Legislation-and-Politics/Legislative-Alerts/Letter-to-Representatives-opposing-the-Fairness-in-Class-Action-Litigation-and-Furthering-Asbestos-Claim-Transparency-Act 

これは.textセクションです：

Letter to Representatives opposing the "Fairness in Class Action Litigation and Furthering Asbestos Claim Transparency Act" 

すべてのhtmlはこのようになっていますが、多分あなたは少しhtmlを学ぶ必要があります。