luigi

2熱

1答えて

私は現在、Ubuntuサーバの電源が入ったときにLuigidを起動しようとしていますが、rc.local、cronjob（@reboot）、upstart、systemd働くこと。手動で実行するとコマンドがうまく動作することを指摘しておきますが、起動時に実行するだけです。 sudo crontab -e を使用し：クロン - この時点で、私は本当に私が試したものの一部であるので、ここで私

0熱

1答えて

luigiの多くのパラメータを扱う

多くの私のプロジェクトでは、パイプラインツールとしてluigiを使用しています。これは、私がそれを使ってパラメータ検索を実装することを考えさせました。 def output(self): return luigi.LocalTarget("data/artist_streams_%s.tsv" % self.date_interval) つまり、パラメータはファイル名で保存されます：

2熱

2答えて

ほぼリアルタイムのETLアーキテクチャ用の右ツール

私たちのプライマリデータストア（および "Universal Source of Truth"）がPostgresであるシステムがありますが、そのデータをリアルタイムでも夜間でも集約して複製します。私たちは現在、Elasticsearch、Redis、Redshift（夜間のみ）に複製し、Neo4jも追加しています。私たちのETLパイプラインは、AirflowとLuigiのようなツールを見ていま

1熱

1答えて

ルイジ・ビジュアライザは、実行してもclient.cfgの中で、私が追加したリムーブ遅延プロパティを呼び出している間、私は仕事に--scheduler-リムーブ遅延パラメータを追加するとしようとしている日

のジョブを永続化する [スケジューラ] record_task_history =真削除-遅延= 86400.0 が、これらが動作するように見えるなし。何か案は？すでにほぼ同様の問題がここにあります - Persist Completed Pipeline in Luigi Visualiser

3熱

1答えて

Luigiタスクの再試行を正しく設定するにはどうすればよいですか？

失敗したタスクが数回再試行されるように、Luigiの再試行メカニズムを設定しようとしています。タスクが正常に再試行されている間しかし、ルイージは失敗し終了します。 ===== Luigi Execution Summary ===== Scheduled 3 tasks of which: * 2 ran successfully: - 1 FailOnceThenSucceed(

1熱

3答えて

FakeS3でLuigiをテストするには？

FakeS3を使用して、迷惑メールマシン内のLuigiパイプラインをテストして、S3エンドポイントをシミュレートしようとしています。 botoのために接続がOrdinaryCallingFormatのようにして設定する必要がありFakeS3と対話することができるようにする： from boto.s3.connection import S3Connection, OrdinaryCallingFo

2熱

1答えて

LuigiワークフローのMySQLターゲット

My TaskBにはTaskAが必要です。完了すると、TaskAはMySQLテーブルに書き込みを行い、TaskBはこの出力を入力としてテーブルに取り込みます。私はルイージでこれを行う方法を理解できないようです。誰かが私に例を示すか、ここで簡単な例を教えてもらえますか？

2熱

1答えて

Luigiで非永続タスクを作成するにはどうすればいいですか？

Luigiパイプラインの一部として、POST要求を使用して計算されるデータを待っているマイクロサービスに通知する必要があります。今まではRunAnywayTargetを使用していましたが、データ変更の速度よりも速くLuigiを起動すると問題になります。だから私の質問は、パイプラインで何かを行うが、データを作成しないタスクを作成するのに最適なパターンは、RESTサービスへのPOST要求のように、

1熱

1答えて

LuigiパイプラインエラーをSentryにルーティングできますか？

私のチームはSentryを使用してエラーを追跡しています。そのため、すべてのレポートを1か所にまとめておくために、ルイージの内蔵メール機能を使用したくないです。これは私がそれが現在設定されている方法であり、それは完全に歩哨を飛ばしているようだ： if __name__ == '__main__': try: luigi.run() except Exception

3熱

1答えて

luigiを使ってPostgresテーブルを更新する

私はちょうどluigiライブラリを使い始めました。私は定期的にウェブサイトをスクラップし、新しいレコードをPostgresデータベースに挿入しています。 luigiを使用するスクリプトの一部を書き直そうとしているので、"marker table"の使用方法はわかりません。ワークフロー：スクレイプデータクエリDB新しいデータが古いデータと異なっているかどうかをチェックします。その場合は、新し