Hiveからデータを読み書きするにはどうすればよいですか？

Question

val spark = SparkSession 
     .builder() 
     .appName("Spark Hive Example") 
     .config("spark.sql.warehouse.dir", warehouseLocation) 
     .enableHiveSupport() 
     .getOrCreate() 

spark-sqlをexciveするためにspark-shellを使用して、ハイブのテーブルをクエリすると、どのようにHiveからデータを読み書きできますか？ JDBCなどを介してですか？

Answer 1

sparksourcecodeを確認する場合は、 Sparkhiveへの接続はjdbcを使用しません。 Hivemetastoreを使用します。 SparkContext以外

def newSession(): SparkSession = { 
new SparkSession(sparkContext, Some(sharedState), parentSessionState = None, extensions)} 

、すべての共有状態が遅延初期化されます。 このメソッドは、共有状態の初期化を強制して、の親セッションと子セッションが同じ共有状態で設定されていることを確認します。 基礎となるカタログの実装がハイブであれば、これは

コメントソースSparkSession.scala

時間がかかる場合がありメタストアを初期化します