Cloudflare Scrapeshieldをバイパスする

Question

私はwebscrapingプロジェクトに取り組んでいます。私はcloudflare scrapeshieldに問題があります。誰もそれを回避する方法を知っていますか？私はselenium webdriverを使用していますが、これはscrapeshieldによっていくつかのlightspeedページにリダイレクトされています。 firefoxの上にpythonで構築されています。ブラウジングは通常、リダイレクトされません。 webdriverが通常のブラウザとは何か異なるのですか？

Answer 1

実際のブラウザを使用しているかどうかを確認するscrapeshieldは、基本的にブラウザに特定のバグがないかチェックしています。同時にがオンラインに存在する場合、クロムがIFrameを処理できないとします。特定のウェブブラウザが異なるテストに反応するので、webdriverはこれらに反応してはいけません。システムに「私たちは侵入者を持っています。ページを変更してください！ "私はウェブスニファについてデフコンの話で、この情報の大部分を発見し、上の適切な脆弱性情報を得ることからそれらを防ぐ

：私は、元の正しい、100％確実ではないけれども...

詳細かもしれませんサーバーでは、彼はPHPでもWebブラウザの識別子を作成しました。

Answer 2

「私はselenium webdriverを使用しています。これは、scrapeshieldによって一部の光速ページにリダイレクトされています。 - それはScrapeshieldの仕組みではありません。

また、ウェブサイトの所有者が意図的に自分のサイトで有効にして、ユーザーがコンテンツをスクラップしないようにするセキュリティ機能をバイパスするためのヘルプを求めているときに、このスレッドを閉じてください。