Pythonを使用してJavascript変数を解析するにはどうすればよいですか？

Question

問題：データを収集しようとしているWebサイトがJavascriptを使用してグラフを作成しています。私は、グラフで使用されているデータを引き出すことができるようにしたいと思いますが、どこから開始するのかはわかりません。たとえば、データは次のようになります。

var line1= 
[["Wed, 12 Jun 2013 01:00:00 +0000",22.4916114807,"2 sold"], 
["Fri, 14 Jun 2013 01:00:00 +0000",27.4950008392,"2 sold"], 
["Sun, 16 Jun 2013 01:00:00 +0000",19.5499992371,"1 sold"], 
["Tue, 18 Jun 2013 01:00:00 +0000",17.25,"1 sold"], 
["Sun, 23 Jun 2013 01:00:00 +0000",15.5420341492,"2 sold"], 
["Thu, 27 Jun 2013 01:00:00 +0000",8.79045295715,"3 sold"], 
["Fri, 28 Jun 2013 01:00:00 +0000",10,"1 sold"]]; 

これは価格データ（日付、価格、量）です。私はここで別の質問が見つかりました - Parsing variable data out of a js tag using python - 私はJSONとBeautifulSoupを使用することを示唆していますが、私はこの特定の問題にどのように適用するかはわかりません。実際、この問題では、PythonのコードはJSON辞書形式よりもPythonに似ています。

私はそれを文字列として読み込み、それを変換するためにXPATHといくつかのファンキーな文字列編集を使用すると思いますが、これはすでにJavascript変数としてフォーマットされているものにとってはあまりにも多くの作業のようです。

だから、このタイプの整理されたデータをこの変数から引き出すには、ここで何ができますか？以下は、そのようなページがフォーマットされているかを知ることなど、いくつかの仮定を行う

Answer 1

わかりましたので、それを行うにはいくつかの方法がありますが、私は単にあなたが良いコーディングを持っている場合

#Read page data as a string 
pageData = sock.read() 
#set p as regular expression 
p = re.compile('(?<=line1=)(.*)(?=;)') 
#find all instances of regular expression in pageData 
parsed = p.findall(pageData) 
#evaluate list as python code => turn into list in python 
newParsed = eval(parsed[0]) 

正規表現がいいですline1=間と;すべてを見つけるために正規表現を使用して終了しているが、この方法は他の答えより良い（EDIT：悪い！）

編集：私は最終的に次のように使用： `` =の後に改行と `var`キーワードを除く

#Read page data as a string 
pageData = sock.read() 
#set p as regular expression 
p = re.compile('(?<=line1=)(.*)(?=;)') 
#find all instances of regular expression in pageData 
parsed = p.findall(pageData) 
#load as JSON instead of using evaluate to prevent risky execution of unknown code 
newParsed = json.loads(parsed[0]) 

Answer 2

（私はPythonとBS4に最も精通しています）が、Pythonの上のメモリにあなたの例を得るための方法は、この

# example data 
data = 'foo bar foo bar foo bar foo bar\r\nfoo bar foo bar foo bar foo bar \r\nvar line1=\r\n[["Wed, 12 Jun 2013 01:00:00 +0000",22.4916114807,"2 sold"],\r\n["Fri, 14 Jun 2013 01:00:00 +0000",27.4950008392,"2 sold"],\r\n["Sun, 16 Jun 2013 01:00:00 +0000",19.5499992371,"1 sold"],\r\n["Tue, 18 Jun 2013 01:00:00 +0000",17.25,"1 sold"],\r\n["Sun, 23 Jun 2013 01:00:00 +0000",15.5420341492,"2 sold"],\r\n["Thu, 27 Jun 2013 01:00:00 +0000",8.79045295715,"3 sold"],\r\n["Fri, 28 Jun 2013 01:00:00 +0000",10,"1 sold"]];\r\nfoo bar foo bar foo bar foo bar\r\nfoo bar foo bar foo bar foo bar' 
# find your variable's start and end 
x = data.find('line1=') + 6 
y = data.find(';', x) 
# so you can get just the relevant bit 
interesting = data[x:y].strip() 
# most dangerous step! don't do this on unknown sources 
parsed = eval(interesting) 
# maybe you'd want to use JSON instead, if the data has the right syntax 
from json import loads as JSON 
parsed = JSON(interesting) 
# now parsed is your data 

のようなものです

Answer 3

JavaScriptライン/ブロックを持つPython変数が"var line1 = [[a,b,c], [d,e,f]];"のような文字列であるとすると、次のようなコード行を使用できます。

>>> code = """var line1 = [['a','b','c'], ['d','e','f'], ['g','h','i']];""" 
>>> python_readable_code = code.strip("var ;") 
>>> exec(python_readable_code) 
>>> print(line1) 
[['a', 'b', 'c'], ['d', 'e', 'f'], ['g', 'h', 'i']] 

exec()文字列として書式設定されたコードを実行します。この場合、変数line1をリストのリストに設定します。

そして、あなたはこのような何か使用することができますより：あなたの形式は実際には一つ以上のvar foo = [JSON array or object literal];であれば、あなたはちょうどそのJSONとしてそれぞれ1を解析し、それらを抽出するためにDOTALLの正規表現を書くことができます

for list in line1: 
    print(list[0], list[1], list[2]) 
    # Or do something else with those values, like save them to a file 

Answer 4

を。これは、いくつかの仮定を行うもちろん

>>> j = '''var line1= 
[["Wed, 12 Jun 2013 01:00:00 +0000",22.4916114807,"2 sold"], 
["Fri, 14 Jun 2013 01:00:00 +0000",27.4950008392,"2 sold"], 
["Sun, 16 Jun 2013 01:00:00 +0000",19.5499992371,"1 sold"], 
["Tue, 18 Jun 2013 01:00:00 +0000",17.25,"1 sold"], 
["Sun, 23 Jun 2013 01:00:00 +0000",15.5420341492,"2 sold"], 
["Thu, 27 Jun 2013 01:00:00 +0000",8.79045295715,"3 sold"], 
["Fri, 28 Jun 2013 01:00:00 +0000",10,"1 sold"]];\s*$''' 
>>> values = re.findall(r'var.*?=\s*(.*?);', j, re.DOTALL | re.MULTILINE) 
>>> for value in values: 
...  print(json.loads(value)) 
[[['Wed, 12 Jun 2013 01:00:00 +0000', 22.4916114807, '2 sold'], 
    ['Fri, 14 Jun 2013 01:00:00 +0000', 27.4950008392, '2 sold'], 
    ['Sun, 16 Jun 2013 01:00:00 +0000', 19.5499992371, '1 sold'], 
    ['Tue, 18 Jun 2013 01:00:00 +0000', 17.25, '1 sold'], 
    ['Sun, 23 Jun 2013 01:00:00 +0000', 15.5420341492, '2 sold'], 
    ['Thu, 27 Jun 2013 01:00:00 +0000', 8.79045295715, '3 sold'], 
    ['Fri, 28 Jun 2013 01:00:00 +0000', 10, '1 sold']]] 

：たとえば

• 行末のセミコロンは、実際の文の区切りではなく、文字列の途中でなければなりません。 JSにはPythonスタイルの複数行文字列がないので、これは安全です。
• JSではオプションですが、実際には各ステートメントの末尾にセミコロンがあります。ほとんどのJSコードはセミコロンを持っていますが、明らかに保証されていません。
• 配列とオブジェクトのリテラルは、実際にJSONと互換性があります。これは間違いなく保証されています。たとえば、JSではシングルクォートの文字列を使用できますが、JSONでは使用できません。しかし、それはあなたの例のために働く。
• 実際のフォーマットは、この定義が明確です。たとえば、コードの途中にvar line2 = [[1]] + line1;のようなステートメントがあると、問題が発生します。

データは、すべての有効なJSONではありませんが、（そうではありませんが、どちらか、不可能ではない）すべての有効なPythonのリテラルJavaScriptのリテラルが含まれている可能性がある場合は、あなたがast.literal_evalを使用することができますそれらはjson.loadsの代わりに。しかし、あなたがこれを知っていない限り、私はそれをしません。