Luigiで非永続タスクを作成するにはどうすればいいですか？

Question

Luigiパイプラインの一部として、POST要求を使用して計算されるデータを待っているマイクロサービスに通知する必要があります。

今まではRunAnywayTargetを使用していましたが、データ変更の速度よりも速くLuigiを起動すると問題になります。だから私の質問は、

パイプラインで何かを行うが、データを作成しないタスクを作成するのに最適なパターンは、RESTサービスへのPOST要求のように、カフカにメッセージを送信する、等...？

runメソッドでリクエストを出力するタスクを作成することはできますが、何らかの理由でエンド・サービスが最初の実行中に失敗した場合、このNotificationTaskを再度再実行する必要があります。依存関係はそこにあり、それは再び実行されません。

Answer 1

今後の処理で出力が使用されない場合でも、タスクの一意の出力を作成します。これは、特定の入力セットを持つタスクが正常に完了したことを示すマーカーにすぎません。あなたは単純なFileTarget、PostgresTargetなどを行うことができます。