luigi

1熱

1答えて

私はLuigiとパイプラインをテストしていますが、私はタスクビジュアライザで奇妙なキャッシング動作に気付きました。 1つは、タスクが設定された時間キャッシュに留まるように見え、時にはパイプラインの2回目の実行からのタスクと重なって、UIが乱雑になります。また、2つのパイプラインを連続して実行すると、新しいパイプラインのタスクが表示されるまでに時間がかかることに気付きました。それぞれの実行前に手動で

0熱

1答えて

Luigiでの一般的なタスクの再利用

Luigiで再利用可能なタスクを作成する方法を理解しておらず、それを具体的な状況で使用しています。たとえば、 class FilterSomeFile(luigi.WrapperTask): def requires(self): return GffFilter(in_file='some.gff3', out_file='some.genes.gff3', filter

0熱

1答えて

luigi：タスクは依存関係を作成せずに他のタスクを実行しますか？

luigiでは、タスクが別のタスクに帰着すると、2番目のタスクが元のタスクの新しい依存関係になり、結果として得られたタスクが完了した後に元のタスクが再実行されることを理解しています。ただし、特定のケースでは、私は、繰延-に従属関係になってタスクせずに、別のタスクに延期するタスクをしたいと思います。私は私の現在のタスクのrun方法は、他のタスクの完了後に再実行することにしたくないので、私はこれをし

0熱

1答えて

virtualenvでのPythonモジュールのスケジュール設定/編成方法は？

私はいくつかのpythonモジュールを開発し、virtualenvで実行しました。私はこのようなタスクをスケジュールして（そしていくつかの依存関係を追加する）を特定の時刻に実行したいと考えています。このような例を何かのため：私は moduleA.py, moduleB.py, moduleC.py, moduleD.py のようないくつかのPythonモジュールを持って、彼らは同じよう

1熱

1答えて

luigi：コマンドラインパラメータがタスクの署名の一部にならない？

luigiでは、コマンドラインパラメータをタスクに渡すためにパラメータメカニズムを使用する方法を知っています。しかし、そうすると、パラメータはタスクの署名の一部になります。しかし、たとえばコマンドラインで--debugまたは--verboseフラグをオプションで渡したい場合など、コマンドラインパラメータをタスクの署名の一部にしたくない場合があります。私は、luigiコードの中で読み込まれる環境

0熱

1答えて

Luigi：Rangehourly例

RangeHourlyプロビジョニング（またはRangeDailyのような同様のプロビジョニング）で使用できる例はありますか。私はそれを使用してタスクの繰り返し実行を試みてきました。しかし、私はいつも以下のようなエラーが出ます： DEBUG：RangeHourly（of = FinalTask、of_params = {}、逆= False、task_limit = 50、now =なし、pa

0熱

1答えて

並列luigi.Tasksにわずかな遅延を追加することは可能ですか？

私は、依存関係のないワークフローに多数のluigi.Taskを持っています。しかし、これらのタスクのそれぞれは、コマンドを送信するのがちょっとずれていないと、圧倒される可能性のあるコマンドをサーバーに送信します（つまり、各コマンドの送信間に5秒の遅れを入れます）見つけた？

0熱

1答えて

Luigiは同じパイプラインの並列実行を処理できますか？

ユーザーが注文を送信します。注文を受け取ると、いくつかのタスクを実行するパイプラインを実行します。いくつかのタスクにはコンピュータ時間がかかります。 # Example pipeline order -> task1 -> task2 -> task3 -> Complete Iそれが入ってくるよう各注文の処理を開始したいので、私たちの計算クラスタが複数の注文を処理され、パイプラインのそれに