Apache Beamを使ってシェルスクリプトを実行する

Question

シェルスクリプトがGCSバケットに格納されているとします。 Apache Beamを使用して実行することは可能ですか？はいの場合は、どうですか？ Apache BeamまたはDataflowのドキュメントでこの種のものを見つけられなかったので、現在は何も試していません。だから私はそれをどうしなければならないのかを知りたかっただけです。おかげさまで

Answer 1

DoFnのようなものからシェルスクリプト全体を実行したいと思うのは少し奇妙です。これはあなたがしたいことですか？ PCollectionの各要素に対して1回実行しますか？

もしそうなら、GCS APIを使用して、シェルスクリプトの全内容を文字列またはバイト配列に取得し、それをサイド入力としてParDoに渡すことができます。

次に、Pythonではsubprocess、JavaではProcessBuilderなどのツールを使用して実行できます。

具体的なものが必要な場合はお知らせください。解決策を繰り返すことができます。