hdf5

0熱

1答えて

私は各データセットが90x18のnumpyの配列であるhdf5ファイルを作成しようとしています。最終的なサイズがおよそ40GBのファイルに対して、2704332の合計データセットを作成する予定です。 with h5py.File('allDaysData.h5', 'w') as hf: for x in list: start = datetime.datetime.now

0熱

1答えて

データが完全に読み取るには大きすぎる場合、HDF5形式ファイルのデータを部分的に読み取る方法

私は科学的研究目的でHDF5形式のデータを分析しています。私はPythonのh5pyライブラリを使用しています。ここでは、読みたいHDFファイルが非常に大きいです。そのファイルサイズは約20GBで、そのデータの主要部分は400000 * 10000浮動小数点数です。私は一度データを読み込もうとしましたが、私の開発環境Spyderはメモリ不足のために強制終了しました。それから部分的にそれを読んでこ

1熱

2答えて

Pandas DataframeをHDF5データセットに書き込む方法

私は、各グループ内に複数のグループとデータセットを持つ、入れ子になったhdf5ファイルにPandasデータフレームからデータを書き込もうとしています。私はそれを日常的に将来的に成長する単一のファイルとして保持したいと思います。私は、入れ子構造が作成された import h5py import numpy as np import pandas as pd file = h5py.File(

1熱

1答えて

パンダread_hdf：chunkksizeまたはiteratorを使用するときに列名を取得する方法は？

私はpandas.read_hdfで、大きな（約10 GB）HDF5テーブルに読んでいます。私は一度にチャンクにアクセスできるようにiterator = Trueを使用しています（たとえば、chunkksize =一度に100,000行）。は、どのように私はすべての列名または「キー」のリストを得るのですか？また、どのようにpandas.read_tableのためのものと類似何get_chunk

1熱

1答えて

JuliaのHDF5ファイルの複合表への書き込みと追加

可変長ストリングの列とさまざまな標準タイプの他の列（Int64、Float64、Bool）を使用して、HDF5の複合表にデータを書き込んで追加する方法）？基礎はいくつかの形でジュリアにあります。 HDF5.jlはHDF5グループのCインターフェースを使用しており、JLD2.jlは完全にJuliaで実装されたカスタムHDF5ファイルを書きますが、このような複合テーブルの作成、書き込み、および追加の

0熱

1答えて

2つのバイナリ（h5）ファイルの数値が同じ内容であるかどうかを比較して確認する方法

2つのバイナリファイルの内容を比較しようとしています。私は2つのディレクトリの中で同じ名前のファイルを比較するpython 3.6 filecompを使用します。上記の行は* .binファイルで動作しますが、両方のディレクトリにありますが、h5ファイルでは機能しません。正確に同じグループ/データセットと数値データを含む2つのhdf5ファイルを比較すると、filecmp.cmpfilesはそれら

0熱

1答えて

イメージをhdf5ファイルにシャッフルする問題

イメージをhdf5ファイルに入れる前にシャッフルしたいのですが、計算にエラーがあります。最近の学習者として、hdf5のドキュメントを読んでいてもこれを理解することはできません。親切に私を導く。 from random import shuffle import glob shuffle_data = True # shuffle the addresses before saving hd

1熱

1答えて

h5pyグループ

への追加Iは、以下の構造を持つファイルを有する：時間1つのインデックス1つの値X 値Y 時間1 インデックス2 を値x 値y 時間2 インデックス1 ... 私はh5pyを使用してHDF5形式にファイルを変換し、別のグループに分け、それぞれのインデックスから値をソートしたいです。（私は...一度だけ、各グループに書き込むことができています）私のアプローチは f = h5py.File(f

0熱

2答えて

C++のHDF5ファイルから属性名とデータセット名を読み取る方法は、ここでは属性がHDF5ファイルに何であるかわかりません

HDF5ファイルはSelect.h5と言っていますが、ファイル名には、どのようにあなたがHDF5ファイルのデフォルトグループは名前で作成されます作成したら

2熱

1答えて

エラー（1.10.1）

私はHDF5（1 0.1）を使用してFortranコードを使用しています。ある時点でh5fopen_fを使用してファイルを開くための呼び出しがあります：私にエラーを与えている H5FileName = "+hdf5/Temperature_00000_00001.h5" CALL h5fopen_f(H5FileName, H5F_ACC_RDWR_F, file, hdferr) Scala