2016-06-26 1 views
1

を行います。カテゴリのリストは、たとえば次のとおりです。スクレイピングは、カール:動作しません抽出クッキー、broserのは、私はルビーと鋸山</p>特に <p>私は製品リストに興味を使用してwww.lider.clサイトをこすりしようとしている

URL1 = https://www.lider.cl/walmart/catalog/category.jsp?id=cat320019&pId=CF_Nivel1_000003&navAction=jump&navCount=0 

ブラウザ上のネットワークセクションを検査する際に、私はjavascriptの可能なブラウザーのライブラリを使用せずに、プログラム製品のリストを取得するために、私は直接投稿できることを検出し〜:

URL2 = https://www.lider.cl/walmart/category/product/food/foodProductListContent.jsp?catName=Arroz"%"20y"%"20Legumbres&pId=CF_Nivel1_000003&cId=&sId=cat320019 

URL2を正しく実行するには、Cookieを渡す必要があります。

だから私のアプローチは、最初のURL1を呼び出すクッキーを取得し、このようURL2するためにそれを渡すことです:

curl "https://www.lider.cl/walmart/category/product/food/foodProductListContent.jsp?catName=Arroz"%"20y"%"20Legumbres&pId=CF_Nivel1_000003&cId=&sId=cat320019" -H "Cookie: JSESSIONID=55580F4B138C8660989405EFF8665988.CL2NTS1P60082_store16;" 

私は、Firefoxを検査することにより、JSESSIONIDを取得し、上記のコマンドを実行すると、カールにおける結果のページがされます正しい。しかし、URL1をカールしてURL2に渡すためにクッキーを取得しても機能しない場合は、検索が無効であるというページが表示されます。

ファイアフォックスが有効なクッキーを取得する方法は何ですか?

よろしく

+0

"[mcve]"をお読みください。 RubyとNokogiriを使用しているというあなたの声明を除いて、RubyまたはNokogiriに関連することを示す質問は何もありません。その使用を示すコードなしで質問にタグを付けないでください。これはカールの質問に過ぎないようです。 –

答えて

0

使用--cookie-jar--cookie

$ curl --cookie-jar /tmp/myCookies "$URL1" 
$ curl --cookie /tmp/myCookies "$URL2" 
関連する問題