私はWoS(Web of Science)データベースから情報をダウンロードしようとしています。私はそのような記事、著者、引用回数、ボリュームの名前など PythonでWoSをクロールする
などの情報を必要とする。これは私のコードです:
import sys
from BeautifulSoup import BeautifulSoup
import urllib
import re
var = raw_input("Link WoS: ")
conn = urllib.urlopen(var)
html = conn.read()
soup = BeautifulSoup(html)
titles = re.findall('<value lang_id="">(.+?)</value>',str(soup))
volume = re.findall('Volume: </span><span class="data_bold"><value>(.+?)</value>', str(soup))
print(volume)
それはタイトルを取得するための完璧な作品。しかし、私は、ボリューム、問題、ページ、日付(公開された)、引用された時間などの情報を得ることに問題があります。これはウェブページのソースです:
</span><span name="source_title_1" id="source_title_1">
<value>
<span class="hitHilite">EDUCATIONAL RESEARCH</span>
</value>
</span> <span class="label">Volume: </span><span class="data_bold">
<value>35</value>
</span> <span class="label">Issue: </span><span class="data_bold">
<value>1</value>
</span> <span class="label">Pages: </span><span class="data_bold">
<value>3-25</value>
</span> <span class="label">Published: </span><span class="data_bold">
<value>SPR 1993</value>
</span>
</div>
<div style="display: inline-block" id="links_1">
<nobr><span id="links_openurl_1"></span> <span id="links_full_text_1"> </span> <span id="links_doc_del_1"></span> <span id="links_patent_1"> </span> </nobr>
</div>
<div class="search-action-item">
<span id="solo_full_text_1" class="solo_full_text"></span><a name="full_text_1" id="full_text_1" title="Full Text" class="button2link button-ft" href="javascript:;"><span id="full_text_1" name="full_text_1" title="Full Text" class="button2 button-ft">Full Text</span></a>
<div class="popup-full-text" id="full_text_1_menu">
<span id="full_text_1_links"></span>
</div>
</div>
<script type="text/javascript">$("#full_text_1").hide();</script><span style="display: inline-block" class="button-abstract" id="ViewAbstract1_text"><a title="View Abstract" alt="View Abstract" onclick="return hide_show_abstract('1', 'http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif', 'http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif', 'View Abstract', 'Close Abstract');" href="javascript:;" class="button9"><img align="absmiddle" title="View Abstract" alt="View Abstract" src="http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif" id="ViewAbstract1_img">View Abstract<nobr></nobr></a></span><span style="display: none" class="button-abstract" id="HideAbstract1_text"><a title="Close Abstract" alt="Close Abstract" onclick="return hide_show_abstract('1', 'http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif', 'http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif', 'View Abstract', 'Close Abstract');" href="javascript:;" class="button9"><img align="absmiddle" title="Close Abstract" alt="Close Abstract" src="http://images.webofknowledge.com/WOKRS523R4/images/spacer.gif" id="HideAbstract1_img">Close Abstract<nobr></nobr></a></span><span style="display: none" url="http://apps.webofknowledge.com/ViewAbstract.do?product=WOS&search_mode=GeneralSearch&viewType=ViewAbstract&qid=5&SID=W1tvVEGCvoimqQujw4V&page=1&doc=1" id="ViewAbstract_Span1">
<!----></span></div><div class="search-results-data">
<div class="search-results-data-cite">Times Cited: <a title="View all of the articles that cite this one" href="/CitingArticles.do?product=WOS&SID=W1tvVEGCvoimqQujw4V&search_mode=CitingArticles&parentProduct=WOS&parentQid=5&parentDoc=1&REFID=448550&excludeEventConfig=ExcludeIfFromNonInterProduct">487</a>
<br>
データが数値であると思います。どうすれば助けてくれますか?
こんにちは!あなたの答えをありがとう。 HTML_Parserで簡単にできることは? –
あなたの正規表現には何の問題もありません。問題は他にもある。 –
私はWoSにアクセスできない。あなたはあなたの質問のHTMLのイメージを、掻きたいページの実際のテキストHTMLに置き換えてください。タイトルから '公開済み'(またはスクラップを終了する場所)まで、回復したいアイテムを表示するために使用されるHTMLをすべて含めます。 –