luigi

0熱

1答えて

私はLuigiから始めていますが、Luigiは同じパラメータですでに正常に実行されているため、タスクを再実行しないでください。私はドキュメントを読んだが、答えを見つけられなかった。仮説：ルイージは、（それがDBを使用していない）メモリに（タスクインスタンスとその結果）状態を格納していますか？スケジューラを再起動すると、すべてを忘れてしまい、すべてのタスクが再実行されます。また、スケジュールさ

0熱

1答えて

Spark Driverがローカルファイルを読み取る理由

私はSpark Cluster Standaloneを使用しています。マスタとスレーブは同じサーバ（サーバB）にあります。 Luigi（サーバーA）を使用してアプリケーションを送信し、展開（クライアントモード）します。私のアプリケーションはサーバBのローカルファイルを読み込みます。しかし、アプリケーションはサーバAでもファイルを読み込もうとします。なぜですか？ sc.textFile('/pa

1熱

1答えて

Python Luigiタスク構造

class Download(Task): date_interval = DateIntervalParameter() def output(self): return LocalTarget("data/user_{0}.tar.bz2".format(self.date_interval)) def run(self): #i

0熱

1答えて

バイナリ読み取りモードでluigi.LocalTargetを開く（デコードエラー）

zipファイルをポイントするためにluigi.LocalTargetをオープンしようとしています（ハッシュを計算できるように）。残念ながら、私がそれを読むと、UnicodeDecodeErrorが得られます。これは、バイナリファイルとして開かれていないことを意味します。私は（ルイジなし）これを行うことができますし、それが正常に file_path = luigi.LocalTarget('myf

1熱

1答えて

Luigiを使用した反復機械学習ETL

今日、私が書いた機械学習の仕事は、手作業で行われています。私は必要な入力ファイルをダウンロードし、学習し、予測し、.csvファイルを出力し、それをデータベースにコピーします。しかし、これが生産に入っているので、私はこのプロセスをすべて自動化する必要があります。必要な入力ファイルは毎月（そして最終的にはより頻繁に）プロバイダからのS3バケットに届きます。私はこの問題を解決するためにLuigiを使

0熱

1答えて

LocalTargetsでは、アトミシティを自分で処理する必要がありますか？

Luigiのドキュメントには、ターゲットへの書き込みのpotential problems regarding atomicityが記載されています。彼らはこれが一般的な落とし穴であり、最終的に目標の場所に移動される一時的なディレクトリを使って処理されるべきだと言います。ターゲットが単一ファイルLocalTargetの場合は、これも自分で処理する必要がありますか？ luigi.local_tar

0熱

1答えて

テーブルロード関数をluigiタスクに置き換える

私は、他の2つのテーブルからSQL ServerテーブルにデータをロードするPython関数を持っています。 class Datetask(luigi.Task): def output(self): return luigi.DateParameter() class loading(luigi.Task): def requires(self):

4熱

1答えて

cmdからLuigiタスクを実行する - 「タスクという名前のモジュールがありません」

Windows cmdでLuigiタスクを実行する際に問題が発生します。ここでは事実です： Cにインストールアナコンダ実行：\はProgramData \ Anaconda2（パイソン2.7）アナコンダは、PATH変数にそのパスを追加しましたが、何のPYTHONPATH変数はありませんが私が実行しようとしていますタスクは、次のようにそれを実行しようとするとC:\....\tasks.py

5熱

1答えて

Luigi - 実行時の％sが未完了

私は非常に簡単な方法でluigiの仕組みを学びたいと思っています。ただ、初心者として、私は、コマンドプロンプトでこれを実行して、このコード import luigi class class1(luigi.Task): def requires(self): return class2() def output(self): return luigi.

0熱

2答えて

Luigi - 2パイプラインジョブを実行中（SYNC、パラレルではない）

私はLuigiフレームワークの開発に入っていますが、私は2つのジョブ（両方ともパイプラインジョブです）を1つのクラスで実行したいのですが、 Job1が完全に実行されたときのみ実行する必要があります。 class ExecuteTwoJobs(luigi.Task): def requires(self): reqs = [] reqs.append(Job1(