Web ScrapingリクエストでGenius上のYoutube URL

私はgenius.comの曲へのリンクをつかむためにcheerioと一緒にリクエストを使用しています。 URLはYouTubeのリンクにする必要があります。問題は、href属性を返すために 'a'要素を取得できないということです。これは私のコードです（cheerioとrequestはスクリプトの中でもっと遠くにロードされています）。Web ScrapingリクエストでGenius上のYoutube URL

request('https://genius.com/Eminem-the-monster-lyrics' , function (error, response, body) { 
    if (!error && response.statusCode == 200) { 
     var $ = cheerio.load(body); 
     var url = $('a' , 'div.song_media_controls-provider-icon').attr('href'); 

    } 
    console.log(url); 
});

This is a screenshot of the HTML that I'm scraping.

その愚かな問題や愚かなポスト場合、私はお詫び申し上げます。私はまだこれのすべてを学んでいます。誰にも助けてくれてありがとう。

出典

2017-09-19 Brayden Brekke

あなたは、クロスドメインのようなエラーのいくつかの種類に直面していますか？ –

は、所望の ' 'を含むHTMLの全体ブロックが角度指示文（' '）内にあることを意味します。あなたは、イベントにアクセスすることができるセレンなどを使用しなければならないでしょう。 [ここにある]（https://www.npmjs.com/package/selenium-webdriver）もう少し詳しく。 –

私はあなたの呼び出しで異なるドメインのURLを取得しようとしていると思います。これを試してみてください： –

// jQuery cross domain ajax 
 
$.get("https://genius.com/Eminem-the-monster-lyrics").done(function (data) { 
 
    console.log(data); 
 
}); 
 

 
// using XMLHttpRequest 
 
var xhttp = new XMLHttpRequest(); 
 
    xhttp.onreadystatechange = function() { 
 
    if (this.readyState == 4 && this.status == 200) { 
 
     document.getElementById("demo").innerHTML = this.responseText; 
 
    } 
 
}; 
 
xhttp.open("GET", "https://genius.com/Eminem-the-monster-lyrics", true); 
 
xhttp.send();

<!DOCTYPE html> 
 
<html lang="en"> 
 
\t <head> 
 
\t \t <title>NK Chaudhary</title> 
 
\t \t <script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script> 
 
\t </head> 
 
\t <body> 
 
\t \t <div id="demo"><a href="/">Add here genius.com</a></div> 
 
\t \t 
 
\t </body> 
 
</html>

出典

2017-09-19 05:35:28

Web ScrapingリクエストでGenius上のYoutube URL

答えて

関連する問題