SeleniumとPythonを使用してdivからこのデータを収集するには

Question

私はSeleniumとPythonを使ってWebページをスクラップし、次の構造を持つdivからデータを収集するのが難しいです：

<div class="col span_6" style="margin-left: 12px;width: 47% !important;"> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Heading1</span> 
    <span class="MainGridcolumn2">Text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Another heading</span> 
    <span class="MainGridcolumn2">More text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Next heading</span> 
    <span class="MainGridcolumn2">Even more text</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text</span> 
    </div> 
</div> 

divには複数の行があり、それぞれに2つの列がスパンタグ内のデータ/テキストを含みます。 CSS IDはありません。

「MainGridcolumn2」スパンクラスに含まれるテキストの収集にのみ関心があります。

テキストを含む次のスパンタグに移動するために 'following_sibling'を使用しようとすると、最初の見出しに移動しようとしましたが、これを動作させることさえできませんそれは任意のテキストを返すされていないように私は、コンソールにそれを印刷しようとすると：

driver.find_element_by_xpath("//span['@class=MainGridcolumn1'][contains(text(), 'Heading1')]").text 

と

driver.find_element_by_xpath("//span[contains(text(), 'Heading1')]").text 

Answer 1

一つの方法は、囲んでのdivつまり祖父母を取得し、スパンを引っ張ることであろうそれから：

あなたを与えるだろう

h = """<div class="col span_6" style="margin-left: 12px;width: 47% !important;"> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Heading1</span> 
    <span class="MainGridcolumn2">Text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Another heading</span> 
    <span class="MainGridcolumn2">More text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Next heading</span> 
    <span class="MainGridcolumn2">Even more text</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text</span> 
    </div> 
</div> 

    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text I don't want</span> 
    </div>""" 

from lxml import html 

xm = html.fromstring(h) 
div = xm.xpath("//span[@class='MainGridcolumn1'][contains(text(), 'Heading1')]/../..")[0] 
print(div.xpath(".//span[@class='MainGridcolumn2']/text()")) 

：

['Text that I want', 'More text that I want', 'Even more text', 'Piece of text'] 

あなたはまた、単にこんにちは、MainGridcolumn1内のテキストは変更しない見出しが、値であり、親を選択し、親兄弟に

from lxml import html 

xm = html.fromstring(h) 
div = xm.xpath("//span[@class='MainGridcolumn1'][contains(text(), 'Heading1')]/..")[0] 
print(div.xpath(".//span[@class='MainGridcolumn2']/text() | .//following-sibling::div/span[@class='MainGridcolumn2']/text()"))