ルイージは毎日パンダのスクリプトを実行しますか？

Question

私はさまざまなデータソースのエンドツーエンドファイル処理を行うpythonファイルをたくさん持っています。

たとえば、survey.pyはファイルをpandasで読み込み、列を追加したり、名前を変更したり、計算したり、変更したファイルをディスクに保存したりします。

driver.pyは、そのファイルに対して同じプロセスを実行します。これと同じ構造が数十のファイルに対して行われています。

私はprocess_allというファイルを持っていますが、基本的には各pythonファイルを特定の順序で実行します（いくつかのファイルは他のファイルに依存しています）。さらに研究を重ねると、私はluigiと呼ばれるライブラリを見つけました。これは、規模を拡大する必要がある場合、この同じタスクをより堅牢に完了させるように思えます。

質問：データを処理するために別々の.pyファイルを書き続けるのですか、それともすべてのものをluigiのクラスに入れるのですか？私は、処理するrawファイルごとに1つのクラスがあると仮定しますが、正しいのでしょうか？

また、以下のCleanDriverクラスのように、luigiクラス内のすべての処理ステップを書き留めていますか？これは、これらの個々のコードファイルの多くがそれぞれ20〜50行であり、数十があるので、非常に長くなるようです。

class CleanSurvey(luigi.Task): 
    date_interval = luigi.DateIntervalParameter() 

    def run(self): 
     os.system('../py_files/run_ftp.py') 

    def output(self): 
     return luigi.LocalTarget(path + 'test_survey.csv') 

class CleanDriver(luigi.Task): 
    date_interval = luigi.DateIntervalParameter() 

    def run(self): 
     df = pd.read_csv('../file.csv') 
     df['col5'] = do stuff 
     df.rename(columns={:}, inplace=True) 

    def output(self): 
     return luigi.LocalTarget(path + 'test_driver.csv') 

if __name__ == '__main__': 
    luigi.run 

Answer 1

これに入る前にobject orientation in Pythonを学ぶことをお勧めします。ルイージと協力することは役に立ちます。

ルイージは実際にデータ処理パイプラインの作成を手伝ってくれます。パイプラインはタスクで構成されています。 （これは、おおよそ1ステップあたりのクラスです）。

これらのステップをクラスにラップする方法に関するご質問に関しては、 YMMV。私はルイージ・クラスをシングル・マネジメントの原則に従うことが好きです。それはそれぞれのタスクが1つのことをしますが、正しいことです。将来的にデバッグして変更する方が簡単です。

最後に、あなたが言及した例では、requires()のないクラスがあります。この関数は、あるタスクの出力を別のタスクの出力に与えることができ、適切な依存関係ツリーを作成できるので重要です。