スパークテーブルとしてデータテーブルに登録されたテーブルを取得する方法

Question

spark-thriftserver jdbc接続を使用してPostgreSQLデータベースからspark-sqlにテーブルをインポートしました。

これらのテーブルをスパークデータフレームに変換する方法はありますか。

Answer 1

スパーク2.0.0 http://spark.apache.org/docs/latest/sql-programming-guide.html

SparkSession上のSQL関数は、プログラムSQLクエリを実行するアプリケーションを可能にし、データフレームとして結果を返します。

# spark is an existing SparkSession 
df = spark.sql("SELECT * FROM table") 

火花1.6.2 http://spark.apache.org/docs/1.6.2/sql-programming-guide.html

SQLContextにSQLクエリをプログラム

SQL関数を実行するには、プログラムでSQLクエリを実行するアプリケーションを可能にし、データフレームとして結果を返します。

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 
df = sqlContext.sql("SELECT * FROM table") 

Answer 2

これはスパーク> 2.0で動作します： df = spark.table('table')