Pythonで大規模な配列を扱うには？

-1

私はディスクに格納する必要がある非常に大きな配列を持っています。どうやってやるの？私はh5pyを使って試しましたが、ドキュメンテーションを読んで、その第2次元が1024の最大数を持つことができるという問題を発見しました。どのように10^5 x 10^5と言う次元の配列を扱うことができますか？Pythonで大規模な配列を扱うには？

出典

2016-03-22 Kavan

本当にあなたが見ているのは、多次元配列*ですね。この回答を確認してください：http://stackoverflow.com/a/1062629/742269 –

あなたがthis part of the documentationと読んでいるとします。これは、一般の2番目の次元の最大サイズが1024であるとは言いません。これはサイズ変更可能なデータセットを使用する単なる例です。

resizable datasetsのドキュメントにあるように、HDF5（およびh5py）の軸ごとの制限は2^64です。

出典

2016-03-22 10:55:36

"2^64要素の1軸あたりの制限"とはどういう意味ですか？ @Hannes Ovren – Kavan

これは、各次元のサイズが最大で2^64であることを意味します。それは非常に大きな数字です。 –

いいえ、必要に応じて約10^19行にすることができます。 –

Pythonで大規模な配列を扱うには？

答えて

関連する問題