電子メールのない人のために空の文字列をスクラップする方法

Question

人とその情報（電話、名前、位置、メールなど）を持つWebページを削り取ろうとしています。人々の中には、電話番号や電子メールのいずれかが不足していると私はリストを結合し、文字列を擦っていない場合はインデックスが異なるため、これに問題があります。それは完全にこのHTMLコードを持つ人々をスキップしていますが

<div class="contact-text contact-email ctaType-email"> 
    <a itemprop="email" href="mailto:test@gmail.com" alt= 
    "test@gmail.com" title="test@gmail.com">test@gmail.com</a>            
</div> 

：私は、このHTMLコードを持つ人々からのメールを取得しています

response.xpath('//ul//div[@class="contact-text contact-email ctaType-email"]/a/@title').extract() 

：

は、これは私がメールをこするてる方法です私のリストのインデックスを台無しにする。

<div class="contact-text contact-email ctaType-email"> 

</div> 

それはので、私は簡単にフィールドを結合したり、それらの空のフィールドに文字列を追加することができるよ空の電子メールアドレスフィールドをこすり作るためにとにかくはありますか？

ありがとうございます！

Answer 1

あなたは、単に二つの部分にあなたの抽出を分割することができます。

people = response.xpath('//ul//div[@class="contact-text contact-email ctaType-email"]') 
emails = [p.xpath('a/@title').extract() or '' for p in people] 

：

1. エキス、すべての人が例えば一人一人のノードエキスの電子メールの場合
2. または空

ノード

これらの問題を回避するための一般的なアプローチは、アイテムノードを抽出してからiteraテップ：

people = response.xpath('//ul//div[@class="contact-text contact-email ctaType-email"]') 
for person in people: 
    item = dict() 
    item['email'] = person.xpath('a/@title').extract() 
    item['something_else'] = person.xpath('...') 
    # ... 
    yield item