Apache Beamパイプラインがデータフローテンプレートとして正常に実行されています。しかし、私はDataflowPipelineOptionsを拡張するオプションクラスを持っています。このクラスは、テンプレートが生成されたときにpomまたはコマンドラインインターフェイスから引数を得ました。 プロパティファイルからこれらのパラメータを直接ロードできるように、クラスが存在するかどうかを知りたいです。このようにすれば、環境から環境への切り替えが容易になり、よりきれいになります。プロパティファイルのApache Beamオプション
2
A
答えて
2
私はあなたの質問を理解していますか分かりません。私はあなたがコマンドラインまたはpom.xml
ファイルからではなく、リソースファイルから提供される値にデフォルトのテンプレートパラメータをバインドする方法があるかどうかを尋ねていると思います。
と指定されたパラメータには、パラメータのデフォルト値を生成するためのユーザ提供のファクトリメソッドを指定することができます。これにより、DefaultValueFactory
実装内のリソースファイルからデフォルト値を読み取ることができます。
/** A {@link DefaultValueFactory} that returns the current system time. */
public static class DefaultToCurrentSystemTime implements DefaultValueFactory<Long> {
@Override
public Long create(PipelineOptions options) {
return System.currentTimeMillis();
}
}
@Description("Minimum randomly assigned timestamp, in milliseconds-since-epoch")
@Default.InstanceFactory(DefaultToCurrentSystemTime.class)
Long getMinTimestampMillis();
void setMinTimestampMillis(Long value);
:
WindowedWordCount
は
DefaultToCurrentSystemTime
を定義する方法の例について
は、minTimestampMillisパラメータに注釈を付ける参照します
関連する問題
- 1. Apache BeamのDymanicDestination
- 2. Apache Beamバージョン2.2.0
- 3. Apache Beam/Flink ExceptionInChainedStubException
- 4. Apache BeamでBigQueryIOのスキーマ更新オプションを指定する
- 5. Apache Beamメモリ内ストレージ
- 6. Apache Beam TextIOワイルドカード(ローカルファイル)
- 7. PythonのApache Beam、beam.io.TextFileSourceのエラー
- 8. Apache Beamのタプルベースのウィンドウ
- 9. Apache BeamとApache Nifiの相違点
- 10. Apache BeamのParDoとFlatMap?
- 11. Apache Beam PubSub Readerの例外
- 12. データフローのカスタムApache Beam Pythonバージョン
- 13. Apache Beam取得元ファイル名
- 14. Python Apache BeamパイプラインステータスAPIコール
- 15. Apache beam Dataflow SDKエラー(例:
- 16. Python Apache Beam Side入力アサーションエラー
- 17. google-cloud-dataflow vs apache-beam
- 18. Apache BeamでのSparkRunnerのPythonサポート
- 19. Apache Beamのファイルに書き込む
- 20. Apache Beam Java SDKとPubSubソースの例
- 21. テーブル作成後のApache Beamパイプラインクエリテーブル
- 22. Apache Beam:無制限ソースを持つバッチパイプライン
- 23. Apache BeamローカルPython依存関係
- 24. pythonでgzipファイルを開くApache Beam
- 25. Apache Beam -BiasQueryIO Apexランナーを使用
- 26. Apache Beam throw can not setCoder(null):java
- 27. Apache Camelでのプロパティファイルの使用
- 28. apache beam missing classのための次のステップは?
- 29. Apache Beamのpythonの構文を説明してください
- 30. Apache Beamパイプライン(データフロー) - 無制限データの実行時間の解釈