hbaseからデータをロードし、Spark! 私はgoogleクラウドとhbaseでスパーク2.0.2を使用しています。1.2.5hbaseとSparkとの接続方法
インターネット上では、JavaHBaseContextを使用する例がいくつか見つかりましたが、私はこのクラスを見つける場所がわかりません。 hbase-sparkというファイルhbase?
そして私はHBaseのデータベースとの接続を行うためにHBaseConfigurationとのConnectionFactoryを使用している、あまりにもこのコードを発見した:
Configuration conf = HBaseConfiguration.create();
conf.addResource(new Path("/etc/hbase/conf/core-site.xml"));
conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
conf.set(TableInputFormat.INPUT_TABLE, tableName);
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
Table tab = connection.getTable(TableName.valueOf(tableName));
byte [] row = Bytes.toBytes("TestSpark");
byte [] family1 = Bytes.toBytes("MetaData");
byte [] height = Bytes.toBytes("height");
byte [] width = Bytes.toBytes("width");
Put put = new Put(row);
put.addColumn(family1, height, Bytes.toBytes("256"));
put.addColumn(family1, width, Bytes.toBytes("384"));
tab.put(put);
しかし、私はあるConnection connection = ConnectionFactory.createConnection(conf);
に関するエラーを取得:
error: unreported exception IOException; must be caught or declared to be thrown Connection connection = ConnectionFactory.createConnection(conf);
できますSpabaseを使用してhbaseからデータをロードする方法を教えてください。
PS:私は、Java
と提供されています:メッセージと同じようにあなたがトライ..catchでそれをsurrondしなければならない、と言います)_ _(b)_ HBase 1.xを使用する他のディストリビューションの追加JAR、またはHBase 2.xでネイティブに_ _(b)_ http://blog.cloudera.com/ blog/2014/12/new-in-cloudera-labs-sparkonhbase /とhttps://blog.cloudera.com/blog/2015/08/apache-spark-comes-to-apache-hbase-with-hbase-spark -module/ –
Threさんも、HortonWorksによってSparkパッケージとしてプロモートされている 'shc'です。https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_spark-component-guide/content/spark-on-hbase .htmlとhttp://repo.hortonworks.com/content/repositories/releases/com/hortonworks/shc-core/ –