pysparkのマップ関数によってsparkのsqlデータフレームの数を数えます。

Question

火花の初心者でデータフレームにmap関数に関する問題があります。

temp = sqlContext.sql("SELECT * FROM df WHERE tag = 'A00000000001'") 
temp.show(1) 

はその後、我々が持っている：私はコマンドを使用してタグ値に基づいて、それらの一部を選択することができます

+----------+------------+------+ 
|  time|   tag| value| 
+----------+------------+------+ 
|1399766400|A00000000001|1000.0| 
|1399766401|A00000000002|1001.0| 
+----------+------------+------+ 

：私は次のようにそれがあると仮定すると、dfという名前のスパークのSQLデータフレームを、持っている

+----------+------------+------+ 
|  time|   tag| value| 
+----------+------------+------+ 
|1399766400|A00000000001|1000.0| 
+----------+------------+------+ 

現在、私はリスト

x = ["SELECT * FROM df WHERE tag = 'A00000000001'", "SELECT * FROM df WHERE tag = 'A00000000002'"] 

を持って

ようRDD変数として格納されていると私はそれらに基づいて選択されたデータフレームの数をカウントすることでmap関数を適用したいと思いますどの、私は機能を試してみました：私は、戻り値がすべきことが想定

y = x.map(lambda x: sqlContext.sql(x).count()) 
y.take(2) 

[1, 1]なるが、それはエラーを与える：

TypeError: 'JavaPackage' object is not callable 

が、それはこの方法でデータフレームにマップ機能を実行することは可能ですか？もしそうでなければ、私はどうすればいいですか？

Answer 1

すでに述べたように、分散データ構造に対してネストされた操作を実行することはできません。より一般的な意味で、スパークはデータベースではありません。 DataFramesを含むスパークデータ構造は、単一レコード検索などのタスク用に設計されていません。

tags = sc.parallelize([("A00000000001",), ("A00000000002",)]).toDF(["tag"]) 
tags.join(df, ["tag"]).groupBy("tag").count() 

Answer 2

これはできません。リスト内包表記を使用することができます。

>>> xs = ["SELECT * FROM df WHERE tag = 'A00000000001'", "SELECT * FROM df WHERE tag = 'A00000000002'"] 
>>> [sqlContext.sql(x).count() for x in xs]