ウェブサイトで使用されている認証を見つける方法

Question

私はbeautifulSoup、httpヘッダー、認証、クッキーなどの機械化について読んできました。

私はお気に入りの芸術のウェブサイトをpythonで削り取ろうとしています。私がスクレーパーを見つけた逸脱した芸術のように。今はログインしようとしていますが、試してみる基本認証コードの例は動作しません。

どのようなタイプの認証がサイトで使用されているのかを確認して、正しい方法でログインしようとしていることを知るにはどうすればよいですか？ボットをブロックしようとするときに有効なユーザエージェントのようなものを含む。

私はHTTP、Python、およびスクレイピングに慣れていないので、私の知らないことに耐えてください。

Answer 1

興味のあるサイトが基本認証を使用することはほとんどありません。あなたは、クッキーを管理する機械化のようなライブラリが必要になり、サイトのログインページにログイン情報を提出する必要があります。