luigi

1熱

2答えて

ダウンロードする500のリンクがあり、たとえば10個のアイテムをバッチしたいと思います。この疑似コードはどのようになりますか？ class BatchJobTask(luigi.Task) items = luigi.Parameter() def run(self): listURLs = [] with ('urls_chunk', 'r') as

1熱

1答えて

Python Luigiタスクマネージャでサブフローを表現するにはどうすればいいですか？

流れA→Bがあるとします。このフローのユーザーにはBが必要です.Bを必要とするタスクCがあるとしますが、DがフローA-> Bの前に発生するようにしたいとします。 Luigiではどうすればよいですか？

1熱

1答えて

複数のスクリプトが同時に実行されている場合のLuigiワーカーの数を制限する

同時にいくつかのLuigiワークフローを実行すると、ワーカーの数が合計されます。これは、2つのワークフローを一緒に実行し、luigi.cfgファイル内で作業者の数がnに設定され、ワークフローでn人以上の作業者が同時に使用される場合、中央スケジューラは、 2xn労働者。 Luigiのマニュアルでは、同時に12のワークフローを実行しても、労働者数をnに制限する方法が見つかりませんでした。このは、

0熱

1答えて

Luigiパイプラインの2つの異なる場所でタスクを再利用することは可能ですか？

私はLuigiのパイプラインを開発しており、大きな問題に遭遇しています。同じパイプラインでタスクを再利用する方法はないようです。は私が後だものを説明するために、次のワークフローを検討してください。 Collect_Data → Clean_data → Task_on_data_A → Task_on_data_B ↳ Sample_data → Task_on_data_A → Task_on

1熱

1答えて

Windowsのluigiでログレベルを変更するにはどうすればよいですか？

実行ディレクトリにluigi.cfgを作成しました。これのコピーを指すようにLUIGI_CONFIG_PATH変数を設定します。自分のログ設定ファイルをINFOに設定します。しかし、私はまだすべてのDEBUGメッセージを取得します。設定ファイルは次のとおりです。 [core] log_level=INFO no_configure_logging=True

1熱

1答えて

luigiで複数のワーカーとのログインを設定するにはどうすればよいですか？

私はluigiからアプリケーションを実行している間、私はstdoutとファイルに向けられたロギングを持っています。これは労働者= 1でうまくいく。しかし、私がworker = 4を設定するとすぐに、私はアプリケーションログを取得しません。複数の作業者がログを記録できますか？

0熱

1答えて

Luigiフレームワーククラッシュ

私がluigiタスクを実行すると、時々フレームワーククラッシュを起こし、以下のタスクがすべて失敗する原因となります。ここでは、エラーログ情報：中央スケジュールにpingを実行しようとしたが、失敗したこと、そしてクラッシュし、後でタスクのすべてがブロックさのよう 2017-10-05 22:02:02,564 luigi-interface WARNING Failed pinging schedu

0熱

1答えて

画像処理のパイプラインを作成する

私はいくつかの画像処理ステップを行っています。可能であれば特定のIDのAWS S3からダウンロードした画像はGIFまたは何チェック画像をJPGするサイズから再フォーマット画像（ちょうどそれを考えていた画像のサイズを変更：ここでは手順があります：アップサンプル/ダウンサンプル画像 - わからないが、まだその段階が来ている場合）分類画像や更新、データベースの情報をは次のIDを取得し、繰り

0熱

1答えて

ルイージは小さなファイル（100k +）の多くのパイプラインを構築するのに適しています

私の最初の腸反応は、ルイージがこのようなことには適していないということですが、 "パイプライン" Luigi/Airflowへ。私はAirflowをWindows環境として使用することはできません。私のユースケース：だから現在、私の「ソース」フォルダから、我々はXMLデータを生成20かそこらのマシンを持っています。時間とともに、これらのファイルを各マシン上のフォルダ（ログデータ）に1つのフォル