スパークプログラムがハイブデータベースまたはテーブルリストを印刷していません

スパークプログラム（バージョン2.0）がハイブに接続し、データベースリスト、テーブルリストを印刷しようとしましたが、最後に新しいハイブテーブル（ 'mytable '）をデータベース' testdata 'に追加します。スパークプログラムがハイブデータベースまたはテーブルリストを印刷していません

データベースリストを印刷する代わりに、df.showは、ハイブ上のすべてのdatabsed avaialbeを印刷する予定のデフォルトデータベース名を印刷しています。

また、新しいテーブルが印刷されているときに、データベースが既にハイブに存在するデータベースが存在しないというメッセージが表示されます。

ここには印刷されているものがあります。

誰かが自分のプログラムを修正するのに役立つことができますか？

+------------+ 
|databaseName| 
+------------+ 
|  default| 
+------------+ 

+---------+-----------+ 
|tableName|isTemporary| 
+---------+-----------+ 
+---------+-----------+ 


import java.io.Serializable; 

//$example off:programmatic_schema$ 
import org.apache.spark.sql.AnalysisException; 
//$example on:create_df$ 
//$example on:run_sql$ 
//$example on:programmatic_schema$ 
import org.apache.spark.sql.Dataset; 
import org.apache.spark.sql.Row; 
//$example on:init_session$ 
import org.apache.spark.sql.SparkSession; 

public class SparkLoad { 

    public static void main(String[] args) throws AnalysisException { 
    SparkSession spark = SparkSession 
      .builder() 
      .master("local") ///local 
     .appName("Java Spark SQL basic example") 
     .getOrCreate(); 

    abcd(spark); 

    spark.stop(); 
    } 

    private static void abcd(SparkSession spark) { 

     Dataset<Row> df = spark.sql("SHOW DATABASES"); 
     df.show(); //this should print the database list. 

     Dataset<Row> dff = spark.sql("SHOW TABLES"); 
     dff.show(); //this should print all table list. 

     spark.sql("create table testdata.mytable (text1 varchar(64), text2 varchar(64), text3 varchar(64), " 
       + "link string, text4 varchar(64),text5 varchar(64),text6 varchar(64),text7 varchar(64),text8 varchar(250)," 
       + "text9 varchar(250),text10 varchar(250),text11 varchar(250),text12 varchar(64),text13 varchar(64),text14 varchar(64)," 
       + "text15 varchar(64),text16 varchar(64),text17 varchar(64),text18 varchar(250),text19 varchar(64),text20 varchar(64)," 
       + "text21 varchar(64),text22 varchar(64),text23 varchar(64),text24 varchar(64),text25 varchar(64),text26 varchar(64)," 
       + "text27 varchar(64),text28 varchar(64),text29 varchar(64),text30 varchar(64),text31 varchar(64),text32 varchar(64))" 
       + " row format delimited fields terminated by '~' STORED AS TEXTFILE"); 

    } 

}

出典

2017-03-13 AKC

confディレクトリにhive-site.xmlをコピーしてみてください。以下のリンクは役に立ちます。

https://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/how-to-access-the-hive-tables-from-spark-shell/td-p/36609

出典

2017-03-13 17:13:10

sparkインストールのconfフォルダにhive-site.xmlがあります。それでも問題は解決しません。 – AKC

SparkSession spark = SparkSession 
    .builder() 
    .appName("Java Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate();

あなたは）（SparkSession.enableHiveSupportを追加しましたか？

出典

2017-03-14 07:42:24

スパークプログラムがハイブデータベースまたはテーブルリストを印刷していません

答えて

関連する問題