クーズー：KuduStorageHandler

Question

とエラーが私はクーズー1.2.0は、クラスタにインストールされている

>>> from os.path import expanduser, join, abspath 
>>> from pyspark.sql import SparkSession 
>>> from pyspark.sql import Row 
>>> spark = SparkSession.builder \ 
     .master("local") \ 
     .appName("HivePyspark") \ 
     .config("hive.metastore.warehouse.dir", "hdfs:///user/hive/warehouse") \ 
     .enableHiveSupport() \ 
     .getOrCreate() 
>>> spark.sql("select count(*) from mySchema.myTable").show() 

PySpark 2.1.0

使用クーズーとして格納されたデータを読み込むしようとしています。それらはハイブ/インパラテーブルです。

私は最後の行を実行すると、私は次のエラーを取得する：

. 
. 
. 
: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Error in loading storage handler.com.cloudera.kudu.hive.KuduStorageHandler 
. 
. 
. 
aused by: org.apache.hadoop.hive.ql.metadata.HiveException: Error in loading storage handler.com.cloudera.kudu.hive.KuduStorageHandler 
    at org.apache.hadoop.hive.ql.metadata.HiveUtils.getStorageHandler(HiveUtils.java:315) 
    at org.apache.hadoop.hive.ql.metadata.Table.getStorageHandler(Table.java:284) 
    ... 61 more 
Caused by: java.lang.ClassNotFoundException: com.cloudera.kudu.hive.KuduStorageHandler 

私は、次のリソースを参照しています：

• https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables

• https://issues.apache.org/jira/browse/KUDU-1603

• https://github.com/bkvarda/iot_demo/blob/master/total_data_count.py

• https://kudu.apache.org/docs/developing.html#_kudu_python_client

私はこのエラーを過ぎて移動できるように、私は私のpysparkプログラムにクーズー関連の依存関係を含めることができる方法を知って興味があります。

Answer 1

私はこの問題を解決する方法はpyspark2シェルにまたは私は同じ問題を抱えている