ウェブサイトをクロールし、各ページのすべてのメタ情報を取得するためのオンラインツール

Question

誰かが特定のウェブサイトをクロールしてメタキーワードとメタ記述情報だけを返す無料のオンラインツールを知っていますか？

mkdir temp 
cd temp 
wget -r SITE_ADDRESS 

次に、キーワード：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' 

と説明のために：

egrep -r -h 'meta[^>]+name="description' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' 

あなたはすべてのユニークなキーワードをしたい場合は、Linux/Unixのへのアクセスを持っていると仮定すると

Answer 1

、試してください：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' | sed 's/\s*,\s*/\n/g' | sort | uniq 

私は確かにそこには、この正確なことを行う1つのライナーやプログラムがあり、間違いなく簡単な答えがあります。

Answer 2

すべてのメタ情報を取得するにはMeta Tags Analyzer