セグメンテーションエラーxarray datsetをnetcdfまたはdataframeに書き込む

Question

複数のgrib2ファイルから作成されたxarrayデータセットで動作するセグメンテーションフォールトが発生します。この障害は、データフレームに書き込むときだけでなく、netcdfに書き込むときにも発生します。何が起こっているのかについてのご意見は高く評価されます。

files = os.listdir(download_dir) 

（http://dd.weather.gc.ca/model_hrdps/west/grib2/00/000/から）ファイルの例 'CMC_hrdps_west_RH_TGL_2_ps2.5km_2016072800_P015-00.grib2'、... 'CMC_hrdps_west_TMP_TGL_2_ps2.5km_2016072800_P011-00.grib2'

# import and combine all grib2 files 
ds = xr.open_mfdataset(files,concat_dim='time',engine='pynio') 

<xarray.Dataset> 
Dimensions: (time: 48, xgrid_0: 685, ygrid_0: 485) 
Coordinates: 
    gridlat_0 (ygrid_0, xgrid_0) float32 44.6896 44.6956 44.7015 44.7075 ... 
    * ygrid_0 (ygrid_0) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ... 
    * xgrid_0 (xgrid_0) int64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ... 
    * time  (time) datetime64[ns] 2016-07-28T01:00:00 2016-07-28T02:00:00 ... 
    gridlon_0 (ygrid_0, xgrid_0) float32 -129.906 -129.879 -129.851 ... 
Data variables: 
    u   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    gridrot_0 (time, ygrid_0, xgrid_0) float32 nan nan nan nan nan nan nan ... 
    Qli  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    Qsi  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    p   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    rh   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    press  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    t   (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 
    vw_dir  (time, ygrid_0, xgrid_0) float64 nan nan nan nan nan nan nan ... 

をnetCDFのために書き出します

ds.to_netcdf('test.nc') 

セグメンテーションフォルト（コアダンプ）

Answer 1

PyNIOはマルチスレッドではうまく動作しません。 lock=True〜open_mfdatasetを追加してみてください（これはおそらくデフォルトで設定する必要があります）。

open_mfdatasetコールにproprocess=lambda x: x.load()を追加してみてください。これにより、次のデータセットを処理する前に、各データセットが完全にメモリにロードされます。