luigi

0熱

1答えて

私はLuigiを使用していくつかのタスクを実行していますが、出力を標準化されたファイルの場所に一括転送する必要があります。私はこれを行うには上書きcomplete()方法でWrapperTaskを書いた： from luigi.task import flatten class TaskX(luigi.WrapperTask): date = luigi.DateParameter(

2熱

1答えて

Luigi PythonのMongoDB

LuigiのMongoDBに出力する方法があるかどうかを知りたいと思います。私は彼らがファイル（ローカルFS、HDFS）、S3、PostgreSQLをサポートしていますが、MongoDBはサポートしていないことがドキュメントで分かります。もしそうでなければ、なぜ誰かが私に説明できないのでしょうか？多分それを持っているのは悪い考えですか？私はそれを照会することでそれを探索することができるので、私はデ

0熱

2答えて

Luigiのパラメータはどのように機能しますか？

私は2つのタスクを持っています（TaskAとTaskBとしましょう）。私は両方のタスクを1時間ごとに実行したいが、TaskBにはTaskAが必要です。 TaskBにはパラメータはありませんが、TaskAには曜日と時間の2つのパラメータがあります。 TaskBをコマンドラインで実行すると、引数を渡す必要がありますか？

0熱

3答えて

Luigiサブタスクに複数の引数を渡すにはどうすればよいですか？

私はサブタスクであるrequiresというLuigiタスクを持っています。サブタスクは、親タスク（すなわち、requireを実行しているタスク）によって渡されたパラメータに依存します。私は x = luigi.Parameter() ...あなたが設定することで、パラメータを受け、サブタスクはその後、サブタスクに... ... def requires(self): return s

3熱

1答えて

Luigi LocalTargetバイナリファイル

私のプロジェクトでLuigiパイプラインにバイナリLocalTargetを書くのに苦労しています。 class LuigiTest(luigi.Task): def output(self): return luigi.LocalTarget('test.npz') def run(self): with self.output().open('wb'

1熱

1答えて

Luigiを使ってファイルからpostgresテーブルにデータを挿入するには？

「例外：Task/dict/listにNoneをマップできません」というエラーが表示されます。私はルイージには初めてです。 advisehowは、ファイルからデータを読み込んでpostgresテーブルに挿入することができます。 requires方法beacuseだ

3熱

1答えて

spark-submitとpysparkでluigiタスクを実行するには

私はluigiいくつかのpysparkライブラリを含むpythonタスクを持っています。今私はspark-submitでmesosにこのタスクを提出したいと思います。それを実行するにはどうすればよいですか？以下は、私のコードのスケルトンです：ルイジなし from pyspark.sql import functions as F from pyspark import SparkContext

4熱

1答えて

Luigiタスクでメモリ内のリストをターゲットとして生成する方法

luigiを使用してetlパイプラインを作成しようとしています。私がドキュメントから理解する限り、luigiのタスクは、何らかのタイプのファイルストレージまたはデータベースである可能性があるターゲットを生成することができます。処理時間を短縮するため、出力としてメモリ内のリストを持っていたいと思います。これは可能ですか？カスタムターゲットを作成する必要がありますか？

0熱

1答えて

luigi per-task retry policy

luigi per-task retry-policyを設定する際に問題があります。次のように私はグローバルluigi.cfgファイルを設定した： class SomeTask(luigi.Task): retry_count = 3 はルイージのRETRY_COUNTを上書きで十分でしょう。さらに [scheduler] retry-delay: 1 retry_count:

0熱

1答えて

Luigiを使用してデータを更新および削除する方法は？

データベースにデータを更新/削除するために、どのモジュールをluigiから使用できますか？私はデータを挿入するためにテーブルとSQLの錬金術にコピーを使用している。更新と削除のためのドキュメントはどのように達成できるのかはっきりしていませんか？お知らせ下さい。