Apache BeamのデータフローSDKを使用してBigTableに書き込むときにNullPointerExceptionが発生する

Question

Apache's Beam sdkバージョン0.2.0-incubating-SNAPSHOT を使用していて、Dataflowランナーでbigtableにデータをプルしようとしています。残念ながらNullPointerExceptionを私のデータフローパイプラインを実行するときに私はBigTableIO.Writeを私のシンクとして使用しています。すでに私のBigtableOptionsをチェックしていて、私の必要に応じてパラメータが正常です。

は基本的に、私が作成し、私のパイプラインのいくつかの時点で、私は私の希望のBigtableへPCollection<KV<ByteString, Iterable<Mutation>>>を書き込むためのステップがあります。

final BigtableOptions.Builder optionsBuilder = 
    new BigtableOptions.Builder().setProjectId(System.getProperty("PROJECT_ID")) 
     .setInstanceId(System.getProperty("BT_INSTANCE_ID")); 

// do intermediary steps and create PCollection<KV<ByteString, Iterable<Mutation>>> 
// to write to bigtable 

// modifiedHits is a PCollection<KV<ByteString, Iterable<Mutation>>> 
modifiedHits.apply("writting to big table", BigtableIO.write() 
    .withBigtableOptions(optionsBuilder).withTableId(System.getProperty("BT_TABLENAME"))); 

p.run(); 

パイプラインを実行すると、私は正確に指摘、NullPointerExceptionを得ましたpublic void processElement(ProcessContext c)方法でBigtableIOクラス：私はBigtableの上で書くことの前に、この方法は、すべての要素を処理しているが、わからない、なぜ私は、このような例外残業を取得しています確認

(6e0ccd8407eed08b): java.lang.NullPointerException at org.apache.beam.sdk.io.gcp.bigtable.BigtableIO$Write$BigtableWriterFn.processElement(BigtableIO.java:532) 

私はこのpipelinを実行e。以下のコードによれば、この方法では属性を使用してそれぞれc.element()を処理しますが、デバッグするためにブレークポイントを設定することはできません。正確にはnullです。どのようにこの問題を解決するためのアドバイスや提案？

@ProcessElement 
    public void processElement(ProcessContext c) throws Exception { 
    checkForFailures(); 
    Futures.addCallback(
     bigtableWriter.writeRecord(c.element()), new WriteExceptionCallback(c.element())); 
    ++recordsWritten; 
    } 

ありがとうございます。

Answer 1

私はジョブとそのクラスパスを調べました。バージョン0.3.0-incubating-SNAPSHOTがbeam-sdks-java-{core,io}ですが、がgoogle-cloud-dataflow-javaのように見えます。

私はこの問題が原因だと信じています - 同じバージョンを使用しなければなりません（バージョン0.3.0のBigtableIOは@Setupと@Teardownメソッドを使用しますが、ランナー0.2.0はまだサポートしていません）。