Sparkにハイブテーブルをロードできません

Question

spark-sqlを使用してハイブテーブルからデータをロードしようとしています。しかし、それは私に何も返されません。ハイブで同じクエリを実行しようとしたところ、結果が表示されます。以下は、私がscalaで実行しようとしている私のコードです。

sc.setLogLevel("ERROR") 
    import org.apache.spark.sql.DataFrame 
    import org.apache.spark.sql.Row 
    import org.apache.spark.sql.types.{StructField, StructType, LongType} 
    import org.apache.spark.sql.hive.HiveContext 
    import sqlContext.implicits._ 
    val sqlContext = new HiveContext(sc) 
    sqlContext.setConf("spark.sql.hive.convertMetastoreOrc", "false") 
    val data = sqlContext.sql("select `websitename` from db1.table1 limit 10").toDF 

可能性のある理由を教えてください。 スパークバージョン：1.6.2 Scala - 2.10

Answer 1

最初にテーブルがどのように作成されたかによって異なります。外部アプリケーションによって作成され、別のサービスとしてハイブを実行している場合は、SPARK_HOME/conf/hive-site.xmlの設定が正しいことを確認してください。

内部スパークSQLテーブルの場合、マスターノード上のフォルダにメタストアを設定します。この場合、場合によっては削除または移動された可能性があります。