numpy-memmap

0熱

1答えて

私はcomplex64にフォーマットされたビッグエンディアンの非常に大きなファイルからデータをロードしようとしています。そのサイズのために、私はmemmapを使いたいと思います。ビッグエンディアンは、このようなように浮かぶように私は、配列を読み込むことができます。 arr = np.memmap(fn, dtype='>f4', shape=(M,N,2)) が、私はそれが arr[m,n,0

0熱

1答えて

大量のデータを徐々にメモリに書き込む方法は？

画像の大きなデータセットに対して信号処理タスクを実行して、画像を特定の構造の大きな特徴ベクトルに変換しています(number_of_transforms, width, height, depth)。（私のコード内またはcoefficients）の特徴ベクトルを一度メモリに保持するには大きすぎるので、私はこのように、np.mmapにそれらを書いてみました： coefficients = np.m

0熱

1答えて

numpy memmapファイルを変更する

numpy.memmapの仕組みを理解することに問題があります。背景には、エントリを削除することによって大きなディスクnumpyをディスクに保存する必要があるということです。配列を読み込み、必要な部分をコピーして新しい配列を作成することはできません。これはメモリに収まらないだけです。したがって、考え方はnumpy.memmapです。つまり、ディスクで作業しています。彼女は（小さなファイルで）私のコ

0熱

1答えて

npyファイルを両方のファイルの同じ列数で別のnpyファイルに追加します。

npyファイルサイズは約5GBで、RAMは約5GBです。両方のnumpyアレイをロードできません。 1つのnpyファイルを読み込み、その行を他のnpyファイルに追加せずに読み込む方法

0熱

1答えて

numpy配列をmemmapにキャスト

私は自分のメモリにいくつかのデータを生成し、それをnumpy.memmapにキャストしてRAMを節約したい。私は何をすべきか？私は空のnumpy.memmapを初期化することができることを知っている X_list_total_standardized=np.array(X_list_total_standardized) ： X_list_total_standardized_memmap=n

6熱

1答えて

numpy meanがmemmapのmaxより大きい

タイムスタンプの配列があり、行列Xの2番目の列の各行が増加しています。タイムスタンプの平均値が計算され、最大値よりも大きくなります。私はストレージのためにnumpyのmemmapを使用しています。なぜこうなった？ >>> self.X[:,1] memmap([ 1.45160858e+09, 1.45160858e+09, 1.45160858e+09, ..., 1.4599714

-1熱

1答えて

C mmapとnumpy memmapの相違

私は32ビットの浮動小数点数の大きいNを含むファイルを持っています。次のようにこのファイルはnumpys memmap機能を使用して作成されます。 mmoutput = np.memmap("filename", dtype='f4', mode='w+', offset=0, shape=N) mmoutput[:] = my_floats mmoutput.flush() 私は戻ってn