2017-04-07 6 views
-1

spark 1.3とcloudera CDH-5.4.7を使用してhbaseから読み書きしたいと思います。私はspark-hbase-connectorを使っていました。 私は私の火花のシェルを起動します。spark 1.3 hbaseへの読み書き

spark-shell --jars hbase-client-1.0.3.jar scalatest_2.10-2.2.4.jar hbase-common-1.0.3.jar spark-hbase-connector_2.10-1.0.3.jar hbase-server-1.0.3.jar 

私はこのインポートを実行すると:

import it.nerdammer.spark.hbase._ 

を、私はエラーを得ました。 spbase 1.3を使用してhbaseから読み書きする最善の方法は何ですか? ありがとうございます

+1

何エラーですか? –

+0

'import it.nerdammer.spark.hbase._'でもjarファイルを追加します –

答えて

0

あなたは以下を試すことができますか?

実行:スパーク - シェルコードのため/opt/cloudera/parcels/CDH/lib/hbase/hbase-spark.jar

を--jarsは、以下のリンクを参照してください

https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/example/hbasecontext/HBaseBulkGetExample.scala

+0

私のバージョンに変更します' spark-submit --master yarn-client --driver-class-path/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath =/opt/cloudera /parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --class com.cloudera.spark.hbase.example。 HBaseBulkPutExample spark_hbase-0.4-jar-with-dependencies.jar 'が動作しません –

+0

まず、私が提供したコードを使用してjarをビルドする必要があります。デフォルトでは使用できません。 spark_hbase-0.4-jar-with-dependencies.jarはコードを使用して作成したjarファイルです。 –

+0

私はスパークシェルを行単位で実行しています(ネットワークセキュリティの問題) –

関連する問題