Scrapy Xpathにtext（）が含まれています

Question

私はscrapyを使用していますが、特定のテキストを含むスパンを探しています。私が持っている：

返し

response.selector.xpath('//*[@class="ParamText"]/span/node()') 

：

<Selector xpath='//*[@class="ParamText"]/span/text()' data=u' MILES STODOLINK'>, 
<Selector xpath='//*[@class="ParamText"]/span/text()' data=u'C'>, 

<Selector xpath='//*[@class="ParamText"]/span/text()' data=u' MILES STODOLINK'>] 

をしかし、私は実行すると：

>>> response.selector.xpath('//*[@class="ParamText"]/span[contains(text(),"STODOLINK")]') 
Out[11]: [] 

機能が動作しませ含まれていないのはなぜ？

Answer 1

は、一度に複数のノードを評価することはできません。

/span[contains(text(),"STODOLINK")] 

ので、場合にspan内の複数のテキストノードが存在する、と"STODOLINK"はにspanの最初のテキストノードの子を配置されていません上記の式のは機能しません。あなたは次のように個々のテキスト・ノード上のチェックを適用しようとする必要があります

//*[@class="ParamText"]/span[text()[contains(.,"STODOLINK")]] 

それとも"STODOLINK"は必ずしも（spanに他の要素内にネストすることができます）span内に直接配置されていない場合、あなたは、単に.を使用することができます代わりにtext()の：（私の例を想定したことはいえ、あなたのファイルと同じです）私の端末で

//*[@class="ParamText"]/span[contains(.,"STODOLINK")] 

Answer 2

あなたのコードは動作します：

入力

import scrapy 
example='<div class="ParamText"><span>STODOLINK</span></div>' 
scrapy.Selector(text=example).xpath('//*[@class="ParamText"]/span[contains(text(),"STODOLINK")]').extract() 

出力：

['<span>STODOLINK</span>'] 

あなたは違うかもしれないものを明確することはできますか？

Answer 3

私はBeautifulSoup4.0でScrapyを使用します。 IMO、スープは読んで理解しやすいです。これは、HtmlXPathSelectorを使用する必要がない場合のオプションです。以下はすべてのリンクを見つける例です。それを 'span'で置き換えることができます。お役に立てれば！

import scrapy 
from bs4 import BeautifulSoup 
import Item 

def parse(self, response): 

    soup = BeautifulSoup(response.body,'html.parser') 
    print 'Current url: %s' % response.url 
    item = Item() 
    for link in soup.find_all('a'): 
     if link.get('href') is not None: 
      url = response.urljoin(link.get('href')) 
      item['url'] = url 
      yield scrapy.Request(url,callback=self.parse) 
      yield item