Googleのデータフローでカスタムパイプラインオプションを渡すときにnullポインタ例外を取得する

Question

Googleのデータフロードキュメントでは、カスタムオプションを簡単に作成してパイプラインファクトリに登録したり、パイプラインファクトリを使用したりすることができます。

しかし、これを実行してカスタムオプションオブジェクトを初期化しようとすると、Googleクラウド上で実行される処理ロジックでそれらを呼び出すときにNULLポインタ例外が発生してしまいます。私は文脈の中でこれを渡す必要がありますか、それとも他の方法でそれを渡すことは可能ですか？

私はいくつかのオブジェクトを渡そうとしましたが、シリアル化エラーが発生しました。

ここでは、わかりやすくするためにシリアライズエラーがあります。

Answer 1

PipelineOptionsは、ユーザーがDoFns、CombineFns、およびその他のユーザー定義可能関数内にPipelineOptionsを埋め込むことを防ぐために、Java直列化できないように設計されています。これにより、実行中にデータフローワーカーの資格情報など、パイプラインが構築された後に変更されたPipelineOptionsにユーザーがアクセスできるようになります。

あなたの場合、DoFnはaccess to PipelineOptionsを提供するコンテキストオブジェクトを公開します。例：

static class MyDoFn extends DoFn<String, String> { 
    @Override 
    public void processElement(ProcessContext c) { 
     MyCustomOptions options = c.getPipelineOptions().as(MyCustomOptions.class); 
     ... access my options ... 
    } 
}