lxmlをデフォルトとして設定BeautifulSoupパーサー

Question

私はウェブスクレイピングプロジェクトに取り組んでおり、スピードに問題がありました。それを修正しようとすると、html.parserの代わりにlxmlをBeautifulSoupのパーサとして使用したいと考えています。私はこれを行うことができました：

soup = bs4.BeautifulSoup(html, 'lxml') 

が、私は繰り返し、私はBeautifulSoupを呼び出すたびに'lxml'入力する必要がありますする必要はありません。プログラムの最初に一度使用するパーサーを設定する方法はありますか？ Specifying the parser to useドキュメントページによると

Answer 1

：

BeautifulSoupのコンストラクタの最初の引数は文字列またはあなたが解析されたい オープンファイルハンドルマークアップです。 2番目の引数は、マークアップを解析する方法を とする方法です。

何も指定しないと、 という最高のHTMLパーサーがインストールされます。 Beautiful Soupはlxmlのパーサを最高のものとしてランク付けし、次に html5lib's、次にPythonの組み込みパーサをランク付けします。

つまり、lxmlを同じpython環境にインストールするだけで、デフォルトのパーサーになります。

ただし、パーサを明示的に記述することは、ベストプラクティスのアプローチと考えられます。 differences between parsersがあり、微妙なエラーが発生する可能性があります。BeautifulSoupが単独で最適なパーサーを選択すると、デバッグは困難になります。また、lxmlをインストールする必要があることを覚えておく必要があります。そして、もしそれがインストールされていなければ、気づかないかもしれません。BeautifulSoupは、エラーを投げずにただちに次の利用可能なパーサを取得します。

パーサを明示的に指定したくない場合は、プロジェクトのREADME/documentationに記述したコードを使用する人や、プロジェクト要件にlxmlを記載してください。と一緒にbeautifulsoup4。

ほか："Explicit is better than implicit."

Answer 2

が明らかaccepted answer最初のを見てみましょう。それはかなり良いですし、この専門性のためとして：

が、私は繰り返し型「lxmlの」私は BeautifulSoupを呼び出すたびに持っている必要はありません。私のプログラムの初めに で一度使うパーサーを設定する方法はありますか？

私があなたの質問を正しく理解していれば、いくつかのキーストロークを節約する2つの方法が考えられます。 - ラッパー関数を定義する - 部分関数を作成する。

# V1 - define a wrapper function - most straight-forward. 
import bs4 

def bs_parse(html): 
    return bs4.BeautifulSoup(html, 'lxml') 
# ... 
html = ... 
bs_parse(html) 

それとも、披露のように感じる場合...

import bs4 
from functools import partial 
bs_parse = partial(bs4.BeautifulSoup, features='lxml') 
# ... 
html = ... 
bs_parse(html)