ページネーションURLを取得する方法

Question

私はHTTPClientとJsoupを使用してURLを取得し、ページをナビゲートします。私は1つのリンクがページングによって制御される3または4ページを持つシナリオを持っています。各番号の送信、アクションの通知、URLの変更、ナビゲーションの完了。メインページからこのURLを取得するにはどうすればよいですか？

これは私のページネーションは、UI

<div class="pagination"> 
<div class="label">Page: </div>   
<div class="button selected" onclick="$('.page-position', $(this).closest('form')).attr('value', $(this).html()); $(this).closest('form').submit();">1</div>   
<div class="button " onclick="$('.page-position', $(this).closest('form')).attr('value', $(this).html()); $(this).closest('form').submit();">2</div> 
<div class="button " onclick="$('.page-position', $(this).closest('form')).attr('value', $(this).html()); $(this).closest('form').submit();">3</div>    
<div class="button" onclick="$('.page-position', $(this).closest('form')).attr('value', 2);$(this).closest('form').submit();">Next</div> 
</div> 

Answer 1

Jsoupは静的HTMLを解析します。 URLはJavascript/JQueryによって作成されます。だからあなたはJsoupでそれをすることはできません。 HtmlUnitを使ってページを作成し、JavaScriptをレンダリングすると、divを簡単に選択できます。

Answer 2

に存在するどのようにそれはあなたがに取得しようとしているページに依存しています。今日のほとんどのウェブサイトは非常にうまく構造化されたURLを持っているので、URLを解釈するのがどれほど簡単であるかがとても分かります。あなたは戻って、つまり、ブラウザを使ってしまうように、単純にそれをnaviagate、CSSパス/ xpathで取得し、サイトには、構造化されていないURLを持っている一方場合 http://jsoup.org/cookbook/extracting-data/dom-navigation

をjsoup使用するようにFirefoxの上で放火犯を使用することができます。最初のページをリンクをアンカーとして使用して、前後に移動します。 Pythonではmechanizeを使ってこれを行うことができます。