2016-11-15 28 views
4

デフォルトのスレッドスケジューラで使用されるコア数を制限する方法はありますか(daskデータフレーム使用時のデフォルト)?デフォルトのDaskスケジューラのスレッド数/プロセス数を指定する方法

df.compute(get=dask.threaded.get, num_workers=20) 

しかし、デフォルトとしてこれを設定する方法がある場合、私は思っていたので、あなたは、各computeコールのためにこれを指定する必要はありません:compute

、あなたが使用して、それを指定することができます?

小規模なクラスタ(64コアなど)の場合は面白いが、他の人と(仕事システムなしで)共有すると、すべてのコアを使用する必要はないdaskで計算を開始する。

答えて

5

あなたは

from multiprocessing.pool import ThreadPool 
import dask 
dask.set_options(pool=ThreadPool(20)) 
ThreadPoolのデフォルトを指定することができます
関連する問題