2017-07-20 10 views
0

hbaseからデータをロードし、Spark! 私はgoogleクラウドとhbaseでスパーク2.0.2を使用しています。1.2.5hbaseとSparkとの接続方法

インターネット上では、JavaHBaseContextを使用する例がいくつか見つかりましたが、私はこのクラスを見つける場所がわかりません。 hbase-sparkというファイルhbase?

そして私はHBaseのデータベースとの接続を行うためにHBaseConfigurationとのConnectionFactoryを使用している、あまりにもこのコードを発見した:

Configuration conf = HBaseConfiguration.create(); 
    conf.addResource(new Path("/etc/hbase/conf/core-site.xml")); 
    conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml")); 
    conf.set(TableInputFormat.INPUT_TABLE, tableName); 

    Connection connection = ConnectionFactory.createConnection(conf); 

    Admin admin = connection.getAdmin(); 
    Table tab = connection.getTable(TableName.valueOf(tableName)); 
    byte [] row = Bytes.toBytes("TestSpark"); 
    byte [] family1 = Bytes.toBytes("MetaData"); 
    byte [] height = Bytes.toBytes("height"); 
    byte [] width = Bytes.toBytes("width"); 

    Put put = new Put(row); 
    put.addColumn(family1, height, Bytes.toBytes("256")); 
    put.addColumn(family1, width, Bytes.toBytes("384")); 

    tab.put(put); 

しかし、私はあるConnection connection = ConnectionFactory.createConnection(conf);に関するエラーを取得:

error: unreported exception IOException; must be caught or declared to be thrown Connection connection = ConnectionFactory.createConnection(conf);

できますSpabaseを使用してhbaseからデータをロードする方法を教えてください。

PS:私は、Java

+0

と提供されています:メッセージと同じようにあなたがトライ..catchでそれをsurrondしなければならない、と言います)_ _(b)_ HBase 1.xを使用する他のディストリビューションの追加JAR、またはHBase 2.xでネイティブに_ _(b)_ http://blog.cloudera.com/ blog/2014/12/new-in-cloudera-labs-sparkonhbase /とhttps://blog.cloudera.com/blog/2015/08/apache-spark-comes-to-apache-hbase-with-hbase-spark -module/ –

+0

Threさんも、HortonWorksによってSparkパッケージとしてプロモートされている 'shc'です。https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_spark-component-guide/content/spark-on-hbase .htmlとhttp://repo.hortonworks.com/content/repositories/releases/com/hortonworks/shc-core/ –

答えて

0

あなたはConnection connection = ConnectionFactory.createConnection(conf);がエラーをThowさんことができるという事実に関係しているmentionnedてきたエラーをプログラムします。 A(_ HBaseの-spark.jar`はスパークのための(新たな)標準HBaseのプラグインです `、それはClouderaの貢献によるもの

try {  
    Connection connection = ConnectionFactory.createConnection(conf); 
} 
catch (Exception e) //Replace Exception with the exception thown by ConnectionFactory 
{ 
... Do something. 
} 
関連する問題