私は、python sparkストリーミングジョブでdataprocジョブのkillシグナルをキャッチする方法を探しています。PostgreSQL DBへの複数の接続を開くdataprocに関する特定のジョブが1つあります。プール内の接続数は限られています。現在、ジョブが再開された場合、接続は正常に終了せず、その結果、このジョブの次のインスタンスには、正常に動作するのに十分な接続がありません。どうにかして、私が仕事中の殺す信号を捕まえることができれば、私は結局結局閉鎖を確実にすることができます。sparkストリーミングジョブでdataproc killシグナルをキャッチする可能性
0
A
答えて
2
あなたができることは、あなたのPythonドライバにatexit handlerを登録することです。それが正常に呼び出されるかどうかは、再起動または失敗の原因によって異なります。そのため、最初に再起動するケースで最初にテストすることで、動作しているかどうかを確認できます。
それ以外の方法で孤立した接続を何とか強制的にクリーンアップする方法がある場合は、起動時にそれらを探して、明示的に必要なクリーンアップ呼び出しを発行する方が簡単かもしれません。
関連する問題
- 1. Google dataprocでsparkストリーミングジョブ以上の動作
- 2. Sparkストリーミング複数ストリーミングジョブ
- 3. Sparkストリーミングジョブのスケジュール
- 4. Eclipse RCPアプリケーションでのkillシグナルの取得
- 5. Google DataProcのspark-shellとsparkR
- 6. DataprocのSpark 2.0とScala 2.11?
- 7. 3つの並列Sparkストリーミングジョブの実行
- 8. なぜspark kill tasksですか?
- 9. Sparkストリーミングジョブ内でユーティリティ(外部)を呼び出す
- 10. 時間の経過後にSparkストリーミングジョブを停止する
- 11. kafka sparkストリーミングジョブで多くのアクティブなジョブがある
- 12. すべての可能性をキャッチする正規表現ですか?
- 13. Cloud Dataprocは高可用性をサポートしていますか?
- 14. Dataproc(Spark v2)の糸箱の例
- 15. mongodメインプロセスがKILLシグナルで殺されました
- 16. Javascript Kill機能?
- 17. システムタップスクリプトでkillシグナル送信者のホスト名を取得する方法
- 18. DataprocのチェックポイントからSpark Streamingジョブを再起動するには?
- 19. google-cloud-dataprocでspark thrift serverを起動できません
- 20. シグナルSIGSEGV sigactionを使用してキャッチ
- 21. Sparkデータフレーム内のカラムのNULL可能性を変更できますか?
- 22. シグナルを定義してlinuxカーネルコードでキャッチする方法
- 23. サブスクリプションのOnNextアクションからスローされる可能性のある例外をキャッチ
- 24. SwiftでNSInternalInconsistencyExceptionをキャッチすることは可能ですか?
- 25. SilverlightアプリケーションでF5をキャッチすることは可能ですか?
- 26. Java enumsの可用性の可能性と可能性?
- 27. sparkストリーミングジョブでbroadcast_1のbroadcast_1_piece0を取得できませんでした
- 28. 高度なforkbombがkillシグナルに免疫されない
- 29. IllegalArgumentException:u'requirement failed:Google DataProcのSparkで無効な初期容量 '
- 30. Sparkでシリアル化可能でないコードをテストする方法