シングルトンin Google Dataflow

Question

私はPubSubからメッセージを読むデータフローを持っています。私はAPIのカップルを使用してこのメ​​ッセージを豊かにする必要があります。私はすべてのレコードを処理するためにこのAPIの単一インスタンスを使用したいと考えています。これは、すべてのリクエストに対してAPIを初期化しないようにするためです。

静的変数を作成しようとしましたが、APIが何度も初期化されています。

Google Dataflowで変数を何度も初期化しないようにするにはどうすればよいですか？

Answer 1

Dataflowでは複数のマシンを並列に使用してデータ分析を行うため、マシンごとに少なくとも1回はAPIを初期化する必要があります。

実際、Dataflowではこれらのマシンの寿命が保証されていないため、比較的頻繁にアクセスしたり移動したりする可能性があります。

簡単な方法あなたの仕事へのアクセス外部サービスを持って、あまりにも多くのAPIは、あなたのDoFnでそれを初期化する初期化を回避するために：あなたはビームやデータフローは、時間を保証するため、これを実行する必要があり

class APICallingDoFn extends DoFn { 
    private ExternalServiceHandle handle = null; 

    @Setup 
    public void initializeExternalAPI() { 
     // ... 
    } 

    @ProcessElement 
    public void processElement(ProcessContext c) { 
     // ... process each element -- setup will have been called 
    } 
} 

DoFnインスタンス、またはワーカーに割り当てられます。

これが役に立ちます。