ウェブページをカールさせる方法

Question

私は自分のstackoverflowページを取得して前日のページとは異なるので、質問、回答、ランキングなどの変更概要を見ることができます。

残念ながら、この仕事をするためにクッキーなどの正しいセットを手に入れません。何か案は？

また、ベータ版が終了したら、ログインせずに自分のステータスページにアクセスできますか？

Answer 1

あなたのステータスページは、ログインすることなく利用可能です（logoutをクリックして試してください）。ベータクッキーが無効になっていると、あなたとあなたのステータスページの間に何もないでしょう。 wgetのために

：

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html 

Answer 2

ナイスアイデア:)私はあなたが使用したと推測

のwgetの

--load-cookies (filename) 

少しを助けるかもしれないが、ブラウザを模倣する（PerlやPythonで）Mechanizeのようなものを使用する方が簡単かもしれませんより完全に良いクモを取得する。

Answer 3

私はクッキーはどちらか動作するように取得する方法を見つけ出すことができませんでしたが、私がログアウトしている間、私は私のブラウザで自分のステータスページに取得することができたので、私stackoverflowが公開されると、これが動作すると仮定します。

これは興味深いアイデアですが、基礎となるHTMLコードの差分も取り上げませんか？実際のコンテンツではなくhtmlのdiffで終わることを避ける戦略がありますか？

Answer 4

そして、ここではどのような作品です...

curl -s --cookie soba=. http://stackoverflow.com/users 

Answer 5

Mark Harrison

から、そして、ここではどのような作品だ...

-s --cookie蕎麦=カール。 https://stackoverflow.com/users

そしてwgetのため：

wget --no-cookies --header "Cookie: soba=(LookItUpYourself)" https://stackoverflow.com/users/30/myProfile.html