2台のサーバーの気流を設定するにはどうすればよいですか？

Question

気流プロセスを2台のサーバーに分割しようとしています。既にスタンドアロンモードで稼働しているサーバーAにはDAGがあり、新しいセットアップで追加のサーバーを使用して作業者として設定したいと考えています。

サーバBは、MySQLでメタデータデータベースをホストする新しいサーバです。

サーバーAでLocalExecutorを実行できますか、またはCeleryExecutorを使用する必要がありますか？ airflow schedulerはDAGを持つサーバーで実行する必要がありますか？または、クラスタ内のすべてのサーバーで実行する必要がありますか？プロセス間にどのような依存関係があるのか​​混乱する

Answer 1

すべてのエアフロープロセスは、airflow_homeフォルダに同じ内容を持つ必要があります。これには構成とダグが含まれます。サーバーBにMySQLデータベースを実行させたい場合は、気流の詳細を心配する必要はありません。サーバBのデータベースをインストールし、airflow.cfgのsql_alchemy_connパラメータをサーバBのデータベースを指すように変更し、サーバAのエアフローinitdbを実行します。

サーバBでエアフロープロセスも実行する場合は、 CeleryExecutorを使用してスケーリングを調べます。