2017-01-16 9 views
1

データフロージョブ(id 2017-01-15_19_15_22-2979660111155895381)が次のエラーで失敗しました。私たちは〜100データフロージョブを毎日同じマシンから実行し、同じ時間(前と後の両方)に他のジョブが正常に開始されたので、Googleのクラウドサービスアカウントによるものではないと思います。 )。 データフローチームは何が起こったのかを把握してお知らせできますか?"ステージングされたパッケージjar"のためにデータフローパイプラインに失敗しました

(ce2f98d99f483fed): Staged package commons-codec-1.6-WXD1SIO0gxskuX8RJbon5g.jar at location 'gs://.../commons-codec-1.6-WXD1SIO0gxskuX8RJbon5g.jar' is inaccessible. 
2017-01-15 (19:15:30) Workflow failed. Causes: (ce2f98d99f48346e): One or more access checks for temp location or staged f... 
(edd80087cf3fc85d): Workflow failed. Causes: (ce2f98d99f48346e): One or more access checks for temp location or staged files failed. Please refer to other error messages for details. For more information on security and permissions, please see https://cloud.google.com/dataflow/security-and-permissions. 

編集:過去48時間で、私たちがあるため、同様の問題の失敗5-6異なるジョブを見てきました(jarファイルを上演アクセスできないか「GCSへの書き込みステップ」を確定できませんでした)。古い投稿(Google Cloud Dataflow jobs failing, inaccessible jars & 410 gone errors)以外ではこれに関連するものは見つかりませんでした。

+0

過去にこのような(一時的な)エラーが発生しました。これは通常、GCSの問題を示しています。起動時に行うことは、ステージングバケットからすべてのファイルを削除し、すべてを再度アップロードすることです。あなたはそれを試して、それが役立つかどうかを見ることができます。 –

+0

あなたの経験を共有してくれてありがとう。私たちは同じ問題を経験したようで、ステージングバケツを掃除した後、問題はなくなりました。 –

答えて

1

これはGCSで発生した過渡的なエラーです。回避策として、実行可能なバケットのすべてのコンテンツを削除し、すべてを再度アップロードすることができます。

パイプラインが新しくリリースされるたびにバケツをクリーンアウトしますが、これは必要ではありません。

関連する問題