BigQueryIO.write操作の成功/失敗

BigQueryIO.write（）操作がプログラム内で正常に完了したかどうかを知る方法はありますか？ WriteResultを返しますが、関連するメソッドが見つかりませんでした。それとも？BigQueryIO.write操作の成功/失敗

2017-10-09 rish0097

パイプラインで操作が失敗した場合は、再試行されます。繰り返し失敗すると、バッチジョブは終了し、失敗としてマークされ、ストリーミングジョブは永久に再試行を続けます。 WriteResultを使用すると、InsertRetryPolicyを使用してエラーの再試行方法を制御できます。これにより、IOが部分的に成功し、問題のある行が示されます。 InsertRetryPolicyを設定しないと、完成したパイプラインは書き込みが正常に完了したことを意味します。

これがあなたの懸念に対処できない場合は、あなたがしようとしていることを詳しく説明できますか？

出典

2017-10-09 16:37:51

実際には、データがBigQueryに書き込まれた後に特定のアクションを実行する必要のあるテンプレートがあります。しかし、p.run（）メソッドの後に書いたものは実行されません（テンプレートではなく、Dataflow Runnerのみを使用する場合に機能します）。 BigQueryIO.write（）の後でこれらのステップを実行することを考えました。これは可能ですか？ – rish0097

WriteResult内でinsertRetryPolicy（）メソッドが表示されません。これはBeam 2.2のものですか？ – rish0097

InsertRetryPolicyは、BigQuery書き込みのプロパティです。すべてが成功すると、WriteResultは空になります。 –

BigQueryIO.write操作の成功/失敗

答えて

関連する問題