JavaでnewAPIHadoopRDD（spark）を使用してHbaseデータを読み取る方法

Question

spark APIを使用してHbaseデータを読み取ろうとしています。

コード：

// Define SparkContext 
    SparkConf sparkConf = new SparkConf().setAppName("Spark-Hbase").setMaster("master"); 
    sparkConf.set("XXX", "XXX"); 
    JavaSparkContext jsc = new JavaSparkContext(sparkConf); 

    // Conf with Hbase 
    Configuration conf = HBaseConfiguration.create(); 

    // Read data using spark 
    JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = 
      jsc.newAPIHadoopRDD(conf, TableInputFormat.class, ImmutableBytesWritable.class, Result.class); 

問題がnewAPIHadoopRDD方法です。私はこのエラーがあり、私は理解していません。

Bound mismatch: The generic method newAPIHadoopRDD(Configuration, Class<F>, Class<K>, Class<V>) of type JavaSparkContext is not applicable for the arguments (Configuration, Class<TableInputFormat>, Class<ImmutableBytesWritable>, Class<Result>). The inferred type TableInputFormat is not a valid substitute for the bounded parameter <F extends InputFormat<K,V>> 

修正方法録音は、どのようなタイプのものであろう

Answer 1

を拡張し、あなたは

import java.io.IOException; 
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.hbase.HBaseConfiguration; 
import org.apache.hadoop.hbase.MasterNotRunningException; 
import org.apache.hadoop.hbase.ZooKeeperConnectionException; 
import org.apache.hadoop.hbase.client.Result; 
import org.apache.hadoop.hbase.io.ImmutableBytesWritable; 
import org.apache.hadoop.hbase.mapreduce.TableInputFormat; 
import org.apache.spark.SparkConf; 
import org.apache.spark.api.java.JavaPairRDD; 
import org.apache.spark.api.java.JavaSparkContext; 

public class HBaseReader { 
    public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException { 
     Configuration conf = HBaseConfiguration.create(); 
     conf.set(TableInputFormat.INPUT_TABLE, "table_name"); 
     JavaSparkContext jsc = new JavaSparkContext(new SparkConf()); 
     JavaPairRDD<ImmutableBytesWritable, Result> source = jsc 
       .newAPIHadoopRDD(conf, TableInputFormat.class, 
         ImmutableBytesWritable.class, Result.class); 
     Result result = Result.EMPTY_RESULT; 

    } 
}