環境変数をPythonの環境変数としてDataflowワーカーに届ける方法

Question

python sdkでカスタムシンクを作成します。私はAWS S3にデータを保存しようとしています。 S3に接続するには、いくつかの資格情報、秘密鍵が必要ですが、セキュリティ上の理由からコードに設定するのは良いことではありません。私は環境変数を環境変数としてDataflowワーカーに届けるようにしたいと考えています。 どうすればいいですか？

Answer 1

一般に、ハードコードしたくない情報を労働者に送信する場合は、PipelineOptionsを使用してください。Creating Custom Optionsを参照してください。その後、パイプラインを構築するときは、PipelineOptionsオブジェクトからパラメータを抽出し、トランスフォームに入力してください（例：DoFnまたはシンク）。

ただし、資格情報と同じように機密性の高いものについては、コマンドライン引数で機密情報を渡すことは良い考えではないかもしれません。より安全な方法をお勧めします.GCSのファイルに信任状を入れて、ファイルの名前をPipelineOptionとして渡します。 GcsIOを使用して、資格情報が必要なときはいつでも、プログラムでGCSからファイルを読み込みます。