Apache Beamを使ってHiveからどのように読むのですか？

Question

Apache Beamを使ってHiveを読み込む方法/ Apache BeamのソースとしてHiveを使用する方法は？

Answer 1

HadoopInputFormatIOは、以下のようにハイブから読み取るために使用することができる。

Configuration conf = new Configuration(); 
conf.setClass("mapreduce.job.inputformat.class", HCatInputFormat.class, 
InputFormat.class); 
conf.setClass("key.class", LongWritable.class, WritableComparable.class); 
conf.setClass("value.class", DefaultHCatRecord.class, Writable.class); 
conf.set("hive.metastore.uris", "..."); 
HCatInputFormat.setInput(hiveConf, "myDatabase", "myTable", "myFilter"); 


PCollection<KV<LongWritable, DefaultHCatRecord>> data = 
p.apply(HadoopInputFormatIO.<Long, 
DefaultHCatRecord>read().withConfiguration(conf)); 

Answer 2

プル要求は、2017年7月に合併HCataloghttps://issues.apache.org/jira/browse/BEAM-2357介しhiveをサポートするために、Beam 2.1.0ことを可能にします。