luigi

1熱

1答えて

Scrapy Web CrawlerとLuigi Data Pipelineを統合する方法は？私は現在、次のようなアーキテクチャを持つ単一のAWS EC2インスタンスにデプロイされるPythonのバックエンドを構築するよ

は（長時間ユーザー& &まず質問をする神経& &）真です： | ---- データソース ----- | 一時的な保管 | - データ処理 --- | ----- DB ---- | のWebクローラのデータ ---- * S3に保存する* = \ APIデータ ----------------- * S3に保存する* == >Lugiデータパイプライン - > MongoDBの上記のように、我

0熱

1答えて

LuigiタスクはETLプロセスの要件を起動しません。

これは、反復ETLプロセスで従うパターンに関する私のprevious questionまでのフォローアップです。今日、私が書いた機械学習の仕事は、手作業で行われています。私は必要な入力ファイルをダウンロードし、学習し、予測し、.csvファイルを出力し、それをデータベースにコピーします。しかし、これが生産に入っているので、私はこのすべてのプロセスを自動化する必要があります。必要な入力ファイルは毎

6熱

1答えて

Luigi（2.6.1）

の不均等な作業配分のために作業者が早く死んでしまった。ドッカー集団で配布されている単純なパイプラインを実行しようとしている。ルイジ労働者は、複製されたドッカーサービスとして配備されています。彼らは正常に起動し、luigi-serverへの作業を求める数秒後、作業が割り当てられずに終了し、すべてのタスクが単一の作業者に割り当てられます。従業員のluigi.cfgでkeep_alive = True

0熱

1答えて

Python - Luigi - Postgresにコピー

AWSのPostgresデータベースにテーブルを作成するLuigiタスクを定義します。私のようなさまざまな輸入しようとしている： import luigi.contrib.postgres.CopyToTable from luigi.contrib.postgres import CopyToTable import luigi.contrib.postgres from luigi.co

1熱

1答えて

Openstackタスクにluigiをどのように活用できますか

Openstackでワークフローを管理するためにLuigiを使用したいと考えています。私はルイージには初めてです。スターターのために、私はOpenstackに自分自身を認証してから、Luigiを使ってイメージリストやフレーバーリストなどを取得したいと思う。どんな助けにも感謝します。私はPythonにはうまくいかず、以下のコードを試しました。私も画像を一覧表示できません。エラー：glancecli

0熱

1答えて

<Class>オブジェクトには属性がありません

私はLuigiとOpenstackで作業しようとしています。メインからクラスを呼び出す際に、私は問題があります。私はまだPythonを学んでいますが、実際にはエラーは表示されません。 ERROR：はAttributeError：「OpenstackHelper」オブジェクトが属性「サーバ password = sys.argv[1] auth_url = sys.argv[2] usernam

1熱

1答えて

luigi設定ファイルはどこですか？

pipコマンドでluigiをインストールしましたが、Web UI用のポートを変更したいと思います。私は設定ファイルを見つけようとしましたが、できませんでした。私はそれを作成する必要がありますか？

0熱

1答えて

Luigiタスクのサブクラス化は可能ですか？

luigiワークフローライブラリを使用しています。私はそのluigi.Taskクラスをサブクラス化して、自分のメソッドとパラメータをもう少し追加したいと思います。通常のオブジェクトパターンは次のようになります。 class MockClassA(): pass class MockClassB(): def __init__(self, foo): super

0熱

1答えて

Luigiが小さなデータをタスク間で渡す

Luigiを使って私は自分のpostgres DBに対して緯度/経度座標のペアを取得し、そのペアを別のタスクに渡したいと思っています。私は、入力としてSQL文字列を受け取り、クエリを実行するQueryPostgres（）タスクを持っています。クエリ結果をローカルファイルに書き込むのではなく、次のタスクに渡すより簡潔な方法がありますか？結局のところ、私は渡す必要があるのは2つの数字だけです。あり

0熱

1答えて

Luigiタスクグラフの作成時にJSONのシリアル化エラーが発生しました

Luigiを使用していくつかのJupyterノートの処理を一括して処理しようとしています。私は2つのクラスを持っています。まず、transform.py： import nbformat import nbconvert import luigi from nbconvert.preprocessors.execute import CellExecutionError class