bashスクリプトでhtmlからデータを抽出する

Question

subway scheduleページに表示されるデータ（行、宛先、時刻、および位置）を取得したいとします。

私は今のために書いたコードは次のとおりです。

#!/bin/bash 
curl "http://mon.ruter.no/SisMonitor/Refresh?stopid=3010370&computerid=acba4167-b79f-4f8f-98a6-55340b1cddb3&isOnLeftSide=true&blocks=&rows=6&test=&stopPoint=">ruter.html 
awk -F "</*td>|</*tr>" '/<\/*t[rd]>.*[A-Z][0-9]/ {print $3, $5, $8, $10 }' ruter.html 

Answer 1

Don't use regular expressions for this at all. HTMLからXMLへの変換、およびXPathを使う - 単なるテキストマッチとは反対に、文書のセマンティクスに働くクエリ言語：

与えられた入力HTMLの場合

url="http://mon.ruter.no/SisMonitor/Refresh?stopid=3010370&computerid=acba4167-b79f-4f8f-98a6-55340b1cddb3&isOnLeftSide=true&blocks=&rows=6&test=&stopPoint=" 

curl "$url" | \ 
    tidy -asxml -n -c -b -q --show-warnings no | \ 
    xmlstarlet sel -N h=http://www.w3.org/1999/xhtml \ 
    -t -m '//h:tr[h:td]' \ 
    -v ./h:td[1] -o $'\t' \ 
    -v ./h:td[2] -o $'\t' \ 
    -v ./h:td[4] -o $'\t' \ 
    -v ./h:td[5] -n | \ 
    column -s $'\t' -t 

、今日のように、出力は次のようになります。

5 Vestli via Majorstuen   nå  1 
4 Vestli via Storo    2 min 2 
5 Ringen via Majorstuen   4 min 1 
5 Sognsvann      7 min 2 
4 Bergkrystallen via Majorstuen 10 min 1 
5 Ringen via Storo    12 min 2 

---

ここで使用されるツールは、（対応XHTMLに厄介なHTMLに変換するため）

• HTML Tidy
• XMLStarlet（XPathクエリを実行する）
• column（整列した列に出力をフォーマットする）

$'\t'シンタックスでは、使用中のシェルが実際にbashになる必要があることに注意してください。（/bin/shではない）。 linksで

Answer 2

：

links -dump 'http://mon.ruter.no/SisMonitor/Refresh?stopid=3010370&computerid=acba4167-b79f-4f8f-98a6-55340b1cddb3&isOnLeftSide=true&blocks=&rows=6&test=&stopPoint=' 

出力：私のように、awkの一部に、このコードに少し変更でした

 
    Linje Destinasjon      Tid Pos 
    Line Destination      Time Pos 
    4  Vestli via Storo    3 min 2 
    5  Vestli via Majorstuen   3 min 1 
    5  Ringen via Majorstuen   5 min 1 
    5  Sognsvann      11 min 2 
    4  Bergkrystallen via Majorstuen 12 min 1 
    5  Ringen via Storo    13 min 2