daskクラスタに現在のタスク数を取得するためのdask apiはありますか？

Question

短期間に大量のタスクが送信された場合、daskスケジューラが強制終了されますが、メモリエラーが発生します。

クラスタ上で現在のタスク数を取得することができれば、クラスタに送信された並行タスクの数を簡単に制御できます。

注：タスクは、複数のクライアントから同じスケジューラに送信されています。

Answer 1

スケジューラで任意のPython関数をclient.run_on_schedulerメソッドで実行できます。

これを使用すると、scheduler stateのいずれかを見ることができます。

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.tasks) 

スケジューラが何百万というタスクを処理できることに注意してください。これに近いところにいるなら、おそらくDaskをどのように使用しているのか考え直すべきでしょう。最適なパフォーマンスを得るには、数百ミリ秒以上かかるタスクを選択する必要があります。