トラストストアとGoogle Cloud Dataflow

Question

Google Cloud DataflowでSSL Kafka接続を確立するには、トラストストアを使用する必要があります。これをバケットから供給することはできますか？これを「ローカルファイルシステム」に保存する方法はありますか？

Answer 1

KafkaIO.Read.withConsumerFactoryFnを使用して、Kafkaコンシューマを作成するために呼び出されるファクトリ関数を指定できます。この機能では、好きなことを自由に行うことができます。 GCSバケットからトラストストアファイルをダウンロードすることができます（そのためにはGcsUtilを使用することをお勧めします）。ローカルディスク上の一時ファイルに保存してください - AFAIK Kafka自身はこのファイルをローカルディスクに保存するだけをサポートしています。次に手動でKafkaConsumerを作成し、ファイルをポイントします。