タスク/ダグタイムアウトをNoneに設定し、手動で実行中のトリガをトリガすることによって、終わりのないジョブ(ストリームデータを消費する無条件ループを持つタスク)を定義できますか?気流が決して終わりのない仕事をモニターすることは問題を引き起こすでしょうか? ありがとうエアフローを使用して、終わりのないタスクを実行できますか?
0
A
答えて
1
エアフローでこれを実行するにはちょっと奇妙ですが、それは問題だとは思いません。ジョブを実行しているワーカー(CeleryExecutorを前提としています)を再起動すると、タスクが中断され、retries
が設定されていない場合は手動で再度実行する必要があります。 DAGがexecution_timeout=None
(デフォルト)に設定されていることも確認してください。
0
"データが存在する"かどうかを監視するセンサーを使用して、何らかの処理を行うダグをトリガすることができます。これはあなたが望んだものですか?私にお知らせください。
関連する問題
- 1. エアフロー - 上流の成功にかかわらず、タスクを実行/
- 2. まだすべてのタスクをエアフローと並行して実行できません
- 3. エアフローでRスクリプトを実行していますか?
- 4. 並行して終了しないGradleタスクを実行中
- 5. スプリングクラウドストリームを使用してタスクを実行できません
- 6. エアフローがタスクの依存性を満たしていない
- 7. は、依存関係なく連続してエアフローを実行できます。
- 8. ハッシュマップルックアップを使用してJSPでタスクを実行します。
- 9. エアフローは、タスクを実行せずに「バックフィル完了」を返します。
- 10. 終わり私は、Fortran 95を使用して実行時エラーを取得しています文字列
- 11. gradleタスクを使用してメインメソッドなしでgroovyクラスファイルを実行
- 12. 終わりのないタスクを含むオブジェクトはガベージコレクションされますか?
- 13. エアフローを使用して、1つのワークフローの別個のタスクを別々のマシンで実行するにはどうすればよいですか?
- 14. エアフローtriggerdagrunオペレータがターゲットダグを実行していません
- 15. クラウドファウンドリーのストリームを使用してタスクを実行できません
- 16. gruntタスクは他のgruntタスクを実行できますか?
- 17. IntelliJはWindows cmd.exeではなくbash.exeを使用してgradleタスクを実行できますか?
- 18. grunt-bower-taskプラグインを使用してgruntタスクを実行できません
- 19. ContinueWithまたはデリゲートを使用してタスクを実行した後にRunOnUiThreadを実行しない
- 20. Android - タスクを実行し、何もしないでもう一度タスクを実行しますか?
- 21. エアフローでスパークコードを実行するには?
- 22. Expoの代わりに他のアプリを使用して反応するネイティブアプリを実行できますか?
- 23. タスクが実行中で終了できません
- 24. CurrentRoleInstance.Idを使用して1つのインスタンスでタスクを実行
- 25. そのタスクをインポートできないときにCeleryタスクを実行する
- 26. インラインツリートラバーサルのデータを1行にスペースで区切り、改行で終わり、改行で終わります。
- 27. エアフローを使用して実装されたワークフロー内のDAGのタスクで非同期イベントを待機する方法はありますか。
- 28. Android:アンドロイドサービスを使用して繰り返しタスクを実行することができません
- 29. VSTestを使用してMSTestの代わりにユニットテストケースを実行
- 30. lock_guardによって遅く実行できるタスクにunique_lockを使用していますか?
ご回答いただきありがとうございますが、ユースケースはストリーミングログの真の消費です。以前の対応は私が探していたものです。 – FZF