`airflow scheduler`を実行すると、33個のスケジューラプロセスが起動されます

Question

LocalExecutorにMySQLバックエンドを使用すると、airflow schedulerをCentOS 6ボックスで実行すると33個のスケジューラプロセスが作成されます。 deploy 55362 13.5 1.8 574224 73272 ? Sl 18:59 7:42 /usr/local/bin/python2.7 /usr/local/bin/airflow scheduler deploy 55372 0.0 1.5 567928 60552 ? Sl 18:59 0:00 /usr/local/bin/python2.7 /usr/local/bin/airflow scheduler deploy 55373 0.0 1.5 567928 60540 ? Sl 18:59 0:00 /usr/local/bin/python2.7 /usr/local/bin/airflow scheduler ... これらは、Executorプロセスおよびgunicornマスタおよびワーカープロセスとは異なります。 SequentialExecutor（sqliteバックエンド）で実行すると、1つのスケジューラプロセスが開始されます。
気流はまだ機能しています（DAGが稼動しています）。しかし、これらのプロセスの数が多すぎると、何かが間違っていると思うようになります。
select * from job where state = 'running';をデータベースで実行すると、5 SchedulerJob行だけが返されます。 これは正常ですか？

Answer 1

はいこれは正常です。これらはスケジューラプロセスです。これらは、そのPID airflow-scheduler.pidファイル

ように32 + 1 = 33回の処理中に見出すことができるスケジューラから生み出される

# The amount of parallelism as a setting to the executor. This defines 
# the max number of task instances that should run simultaneously 
# on this airflow installation 
parallelism = 32 

airflow.cfgこのパラメータの下に使用を制御することができます。あなたが見ていること。

これがあなたの疑いを解消することを願っています。

乾杯！