html表示用データをスクラップして保存する

Question

Webページをスクラップしてリスティング価格を取得するためにpythonをコーディングしました。

データを保存し、そのデータセットの統計分析を行いたいとします。

これは機能しますか？

パイソン - > beautifulsoup - > MySQLの - > HTML

データセット： 10 $、$ 20、私は平均値を計算して、HTMLページ上に表示できるようにしたい$ 10

。

Answer 1

あなたは、MySQLに格納する前に（Pythonのパンダのデータフレームと例えば）分析のためのPythonにとどまることができる： Pythonの - > Beautifulsoup - >パンダ - > MySQLの - > HTML

Answer 2

Beautifulsoupは、HTMLパーサです。 Pythonを使用してHTMLページをフィードし、そこから必要なデータを抽出することができます。その後、Pythonでデータを後処理し、準備ができたらMySQLにロードすることができます。私はプログラミング言語（HTMLはMySQLとは話せないマークアップ言語であり、MySQLはHTMLを直接出力できないデータベース管理システム）もないので、MySQL - > HTMLのステップについて少し混乱しています。しかし確かに、MySQLデータをHTMLページに表示するのは簡単なステップです。

ところで、これらの手順を少しずつ改善することをお勧めします。データを抽出してデータベースにロードするコードがあり、データベースのデータを表示するコードがいくつかあります。これらを2つに分けておくと、コード品質が向上する可能性があります。

Answer 3

通常の使用のためにデータを使用している場合は、pythonのサポートが組み込まれているmysqlではなく、sqlite dbに格納することができます。あなたのサイトが主に静的であれば、綺麗にするためにBeautifulsoupを使用することができます。統計分析のためにnumpyのようなPythonライブラリがたくさんあります。あなたのターゲットサイトが動的に生成されたコンテンツを持っている場合は、phantomjsやseleniumドライバを使って内容を取得することをお勧めします。