1
Google Cloud Dataflowが新しく、GCS（Google Cloud Storage）のファイルをあるバケットから別のバケットにコピーして名前を変更する必要があります。例の回答は高く評価されます。Google Cloud Dataflowからgsutilにアクセスできますか？はいの場合、誰かが例を挙げて説明してもらえますか？
A
答えて
2
技術的には可能ですが、Dataflowを使用してファイルをピックアップし、gustilのラッパーとしてではなく新しいバケットに移動する方が良いでしょう。
必要なクラスはbeam.io.gcsio.GcsIO（）でなければならず、必要な場所にファイルを持ち上げて置くことができるはずです。
関連する問題
- 1. 誰かがテストシナリオとテストケースの違いを説明してもらえますか
- 2. 誰かがこのsedコマンドを私に説明してもらえますか？
- 3. 誰かがこのデコレータコードを私に説明してもらえますか？
- 4. 誰かが簡単な説明や結合の例を挙げることができますか？
- 5. 誰かこのプログラムを私に説明してもらえますか？
- 6. 誰かが@RequestBodyを明確にしてもらえますか
- 7. 誰かが私にこのJavaコードが何をしているのか説明してもらえますか？
- 8. 誰もこのコードを私に説明してもらえますか？
- 9. 誰かが何をしているのか説明してもらえますか？n＆1？
- 10. 誰でもリクエストリプライブローカのzeromqの例を説明できますか？
- 11. 誰もiReportについてJavaで説明できますか？
- 12. - 誰かが説明できる場合の説明
- 13. 誰も私に教えてもらえますか？例：
- 14. 誰かがsize_t型を例として使用する理由を誰でも説明できますか？
- 15. 誰もstring.compare（_：options：range：locale :)を例文で説明できますか？
- 16. Pythonは - 私は例を挙げて説明します
- 17. のリンクは非常に誰かが私に説明してもらえ
- 18. ゴールデングリッドシステムのグリッドを私に説明してもらえますか？
- 19. 誰かがdescendantFocusability = afterDescendantsについて説明できますか？
- 20. 誰かがWaitForSeconds（）について説明できますか？
- 21. 誰でもhtaccessファイルの与えられた行を説明できますか？
- 22. 誰もがjCarouselから次のJavaScriptコードを説明できますか？
- 23. 誰かがこのコードを明確にしてもらえますか？
- 24. 誰かがスクリプトでスレッドを使用する方法を説明してもらえますか？
- 25. 誰かが私にこのmysql selectクエリ値の論理を説明してもらえますか？
- 26. 誰かが2DのUnity Coordinateシステムを私に説明してもらえますか？
- 27. 誰かが私にfence_vmware_soapの仕組みを説明してもらえますか？
- 28. あなたは何が起こるか説明してもらえますか
- 29. パターンバインドをしましょう、誰かが例を説明できますか？
- 30. 誰もこの列挙子の構文を説明できますか？
これは、バケット間を移動するだけでなく、ローカルワーカーにダウンロードするために使用できますか？私はgoogle-cloud-storageのpythonモジュールを試してみました。大きな（3GB）のオブジェクトの場合はgsutilと比べてうまく動作しません。 – bw4sz
はい、そのメソッド呼び出しは、ストレージから渡されたオブジェクトと実行中のデータフローワーカーのローカルインスタンスにロードされます。 より大きいオブジェクトを推奨すると、20 MBを超えると、そのオブジェクトを実行可能なバンドルに刻み込み、そのようなパフォーマンスを向上させるようにそのオブジェクトを直列化します。これは、あなたが扱っているオブジェクトを分解できると仮定しています。 – bR3nD4n
うん、ちょうどちょっと丸いが、チャンクに取り組んでいる。チャンクを作成するには、ファイルをダウンロードしてから、チャンクにデータフローを再アップロードして実行する必要があります。ローカルダウンロードの構文に関するサンプルコードを1行与えることができます。私が見るものは、やや簡潔です。https://beam.apache.org/documentation/sdks/pydoc/0.6.0/_modules/apache_beam/io/gcp /gcsio.html – bw4sz