クロール時にウェブページアドレスからモバイルページアドレスを取得するにはどうすればよいですか？

Question

私は個人的なプロジェクトのために「python by python」を作っています。私は各Webページアドレスからモバイルページアドレスを取得したいと思います。

は、私が唯一のモバイルページのアドレスを知りたい「m.youtube.com」

に「www.youtube.com」を変換するのが好きです。

「セレン」を使用せずにモバイルページアドレスを取得することはできますか？

Answer 1

モバイルページには2つの方法があります。

最初にURLをチェックすることができます。コメントm.youtube.comで示した例では、モバイルモードでブラウズしているという事実を明示しています。

しかし、HTTPヘッダーUser-Agentも確認できます。このヘッダーは、クエリを送信するために使用されたブラウザを示します。 サーバーはこの情報を抽出することができ、ブラウザがモバイルかデスクトップかを特定することができます。

これはあなたの主な問題です。すべてのWebサーバーは、モバイルテンプレートを処理するために同じ方法を使用しません。多くのウェブサイトで私が説明した両方の方法を使用しており、モバイルテンプレートにアクセスする方法を単独で見つける一般的なスクレイパーを作成するのは難しいでしょう。

あなたが何ができるかのSi：あなたは、動的にモバイルにデスクトップから切り替えたい場合は、ユーザーエージェントと遊ぶhttps://github.com/SeleniumHQ/selenium/wiki/WebDriver-For-Mobile-Browsers

それとも

：

はセレンとモバイルブラウザを使用します。 Change user agent for selenium driver