スパークとHBaseのバージョンの互換性

SparkとHbase 1.2.4を統合しようとしています。私は現在、hadoop 2.7.3を使用しています。 HBase 1.2.4と互換性のあるSparkのバージョンを教えていただけますか？スパークとHBaseのバージョンの互換性

2017-02-02 Mahmud

私はHBaseのバージョン1.2とスパークバージョン1.6を使用しています。だから私はスパークバージョン1.6または1.6.xは間違いなくhbase 1.2.4で動作すると思います。

2017-02-02 04:37:44

私はSpark 1.6.3を設定しようとしましたが、エラーが発生しました：ERROR [main] spark.SparkContext：SparkContextを初期化中にエラーが発生しました。 java.net.ConnectException：master/10.0.0.1からマスタ：8021への呼び出しが接続例外で失敗しました。そして、私はhduser @ master：〜$ HBASE_PATH = '/ usr/local/hbase/hbase-1.2.4/bin/hbase classpath'を使用しています。 hduser @ master：〜$。/ spark-shell --driver-class-path $ HBASE_PATH hbaseとsparkシェルを接続します。それはhbaseと接続するための正しい手順なのでしょうか、何か他のことをしなければなりません。お返事をありがとうございます。 – Mahmud

Siddhartha、あなたが使っているhadoopのバージョンは？ – Mahmud

Hadoopバージョン2.7.2 –

詳しい適合表へのリンク以下のチェック

http://hbase.apache.org/hbase-spark/dependencies.html

出典

2017-02-02 04:23:02 BruceWayne

ありがとうございました。 – Mahmud

スパークとHBaseのバージョンの互換性

答えて

関連する問題