Spark2データセット<Row> saveAsTableは私が火花2.1.0を使用していHIVEメタデータ

Question

を更新しませんでした、ここでは最も簡単なコードです：

public static void main(String[] args) { 
    SparkSession spark = SparkSession.builder().enableHiveSupport().appName("Spark Test").getOrCreate(); 
    List<Employee> employees = ImmutableList.of(new Employee("a"), new Employee("b"), new Employee("c")); 
    Dataset<Row> df = spark.createDataFrame(employees, Employee.class); 
    df.write().saveAsTable("Employee_" + new Random().nextInt(100)); 
} 

私は火花提出CLIによってそれを提出する：

spark-submit --class test.spark.Driver --master yarn --deploy-mode cluster 

/usr/hive/warehouse/Employee_23、私はspark.sql("select * from Employee_23")を実行すると、エラーが発生しました：私は、データはHDFSに永続化されている見ることができます

Table or view not found 

ハイブのメタストアデータベースには、TBLSテーブルにレコードがありません。

しかし、同様のコードを実行するためにspark-shellを開いても動作します。

これは​​のために起こっていますか？助けてください。

Answer 1

なぜ私のhadoopとsparkが異なるドッカーコンテナに配備されているのか、hive-site.xmlをsparkコンテナに入れたので、spark-shellを実行すると動作します。

depolyモードが "cluster"の場合、ドライバは糸で動作しているため、このドライバはsparkコンテナ内のhive-site.xmlを見ることができません。解決策はhive-site.xmlをhadoop confフォルダに入れます/ hadoop）。