Google Cloud Dataflowでゼロベースのインデックスと1つのインデックスを修正しました。

Question

私のチームと私はGoogle Cloud Dataflowを使用して、リモートでジョブを実行しています。 Pythonで設定されたjulianのサンプルから、デプロイメントが正常に動作していることを確認しました。

ローカルマシンよりも時間がかかりましたが、Google Cloud Dataflowで完了しました。

私たちが持っている問題は、私たちに意味をなさない同じファイル名でゼロベースのインデックス作成と1つのベースのインデックス作成を使用したことです。

我々は00008-の-00008または00009-の-00009で終わると思います00008-の-00009で終わるよりも多くの意味をなします。とにかくこれを修正して、左右の数字が一致するようにすることはできますか？

Answer 1

0000X-of-0000Y形式を使用すると、Beamはindex-of-countを実行しようとします。右側の数字はシャードの総数ですが、左側の数字はゼロベースのインデックスです。

この動作の変更は、Apache Beamのシンクでは現在サポートされていません（簡単に）。自分で追加するには、Apache Beam（具体的にはaround here）のコードを変更する必要があります。

これが役に立ちます。