matplotlibを使用してpysparkのSQL結果をプロットする方法

Question

私はpysparkを初めて使用しています。私はmatplotlibを使って結果をプロットしたいが、どの関数を使うべきか分からない。 SQLの結果をpandasに変換してからplotを使う方法を探しました。

Answer 1

こんにちはチーム私はこれに対する解決策を見つけました。私はSQLデータフレームをpandasデータフレームに変換し、グラフをプロットすることができました。以下はサンプルコードです。

pyspark.sql import Row 
from pyspark.sql import HiveContext 
import pyspark 
from IPython.display import display 
import matplotlib 
import matplotlib.pyplot as plt 
%matplotlib inline 
sc = pyspark.SparkContext() 
sqlContext = HiveContext(sc) 
test_list = [(1, 'hasan'),(2, 'nana'),(3, 'dad'),(4, 'mon')] 
rdd = sc.parallelize(test_list) 
people = rdd.map(lambda x: Row(id=int(x[0]), name=x[1])) 
schemaPeople = sqlContext.createDataFrame(people) 
# Register it as a temp table 
sqlContext.registerDataFrameAsTable(schemaPeople, "test_table") 
df1=sqlContext.sql("Select * from test_table") 
pdf1=df1.toPandas() 
pdf1.plot(kind='barh',x='name',y='id',colormap='winter_r')