データフローパイプラインのNPE SourceOperationExecutor.isSplitOperationTooLargeForDataflowService

Question

私のデータフローパイプラインは最後まで実行されていました。今日私は新しいデータセットでそれを実行したとき、私はNullPointerExceptionを取得し始めました。問題は、以下に示すように、例外が（スタックトレースのどこでも）自分のコードから来ていないように思われることです。

これはデータフローフレームワークのバグですか（例外はisSplitOperationTooLargeForDataflowServiceで発生しているようです）このデータセット、より正確にはそのデータセットはデータフローにとって大きすぎますか？

どんな助力や洞察力があれば幸いです！

2016-07-04T16:27:00.044Z: Error: (fb0b4effcb8800a6):  
java.lang.NullPointerException 
at com.google.cloud.dataflow.sdk.runners.worker.SourceOperationExecutor.isSplitOperationTooLargeForDataflowService(SourceOperationExecutor.java:100) 
at com.google.cloud.dataflow.sdk.runners.worker.SourceOperationExecutor.isSplitResponseTooLarge(SourceOperationExecutor.java:92) 
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.doWork(DataflowWorker.java:227) 
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorker.getAndPerformWork(DataflowWorker.java:146) 
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness$WorkerThread.doWork(DataflowWorkerHarness.java:164) 
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness$WorkerThread.call(DataflowWorkerHarness.java:145) 
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerHarness$WorkerThread.call(DataflowWorkerHarness.java:132) 
at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
at java.lang.Thread.run(Thread.java:745) 

Answer 1

これは、Dataflow SDKの1.4.0リリースで修正されたバグです。この記事の執筆時点では、SDKの最新バージョンは1.6.0です。

バージョン1.2.1で「最新」と表示されている場合は、Eclipseプラグインで問題が発生しているようです。 SDKのバージョン1.6.0を使用するようにpom.xmlを手動で更新する場合は、問題を解決する必要があります。