DaskがアクセスできるRAMをどのように拡張しますか？

Question

開発者は大きな配列を公開してデータベースとしてDaskを使用する必要がありますか？もしそうなら、（マシン自体を変更する以外に）DaskがアクセスできるRAMを増やすために行うべき推奨ワークフローは何ですか？

Answer 1

デフォルトでは、dask-workerプロセスは、マシン上のRAMの約60％に達するまでデータを割り当てます。その時点で、最も最近使用されていないアイテムがディスクに残っています。

この動作は--memory-limitフラグで制限できます。

あなたがネットワークに追加したい複数のマシンを持っているなら、あなたはあなたの実際の質問

に

host1$ dask-worker scheduler-address:8786 
host2$ dask-worker scheduler-address:8786 
host3$ dask-worker scheduler-address:8786 

を同様にそれらのマシン上でDASK-労働者を起動し、中央スケジューラにそれらを指すことができます

開発者は大きな配列を公開してデータベースとしてDaskを使用する必要がありますか？

これは実際の判断の呼び出しです。 Daskはツールであり、さまざまな方法で使用できます。それを使用するかどうかは、アプリケーションのニーズによって異なります。