GRIBファイルのディレクトリをDask配列にロードする方法

Question

何千ものGRIBファイルがあるディレクトリがあるとします。これらのファイルをdask配列にロードして、それらを照会できるようにします。これをやり遂げるにはどうすればいいですか？以下の試みはうまくいくようですが、各GRIBファイルを開く必要があり、実行には時間がかかり、すべてのメモリが必要になります。より良い方法が必要です。

私の試み：

import dask.array as da 
from dask import delayed 
import gdal 
import glob 
import os 


def load(filedir): 
    files = sorted(glob.glob(os.path.join(filedir, '*.grb'))) 
    data = [da.from_array(gdal.Open(f).ReadAsArray(), chunks=[500,500,500], name=f) for f in files] 
    return da.stack(data, axis=0) 

file_dir = ... 
array = load(file_dir) 

Answer 1

これを行うための最善の方法は、dask.delayedを使用することです。この場合、配列を読み取る遅延関数を作成し、da.from_delayed関数を使用してオブジェクトdelayedからdask配列を作成します。

これは、各ファイルを読み込むための1つのタスクを作成することに注意してください。個々のファイルが大きい場合は、load機能でチャンクすることができます。私はgdalに慣れていませんが、ReadAsArrayメソッドの簡単な見方から、これはxoff/yoff/xsize/ysizeのパラメータ（わからない）で実行可能です。あなたはこのコードを自分で書く必要がありますが、大きなファイルの方がパフォーマンスが良いかもしれません。

また、上記のコードを使用して、rechunkを呼び出して小さなチャンクに再チャンクすることもできます。これにより、1つのタスクで各ファイルを読み込むことになりますが、それ以降の手順は小さなチャンクでも機能します。これが価値があるかどうかは、個々のファイルのサイズによって決まります。

x = x.rechunk((500, 500, 500)) # or whatever chunks you want