numpyの配列とpythonリストは動的に成長するように最適化されていますか？

Question

私はlistの.append()関数を使用して私に必要な多くのことを行いました。またnumpy配列のためにはnumpy.append()関数も使用しました。私はの両方がの配列のサイズが大きいときに本当に遅くなることに気づいた。

約100万の要素のサイズに対して動的に成長する配列が必要です。 std::vectorがC++で作られたのと同じように、外部からアクセスできないバッファ長（予備の長さ）を追加することで、これを自分で実装できます。しかし、私は車輪を再発明する必要がありますか？私はそれがどこかに実装されるべきだと思います。だから私の質問です：このようなことは既にPythonに存在するのでしょうか？

意味： Pythonには、ほとんどの場合、時間の複雑さが動的に増加する配列タイプがありますか？

Answer 1

どちらも基礎となる配列を使用します。代わりに、collections.dequeを使用して、両端の要素をO（1）の複雑さで具体的に追加したり削除したりすることができます。

Answer 2

numpy配列のメモリはドキュメントに詳しく記述されています。リストメモリのレイアウトも議論されていますが、通常numpyとは対照的です。

numpy配列には、固定サイズのデータ​​バッファがあります。 「成長」するには、新しい配列を作成し、それにデータをコピーする必要があります。 np.concatenateこれはコンパイルされたコードで行います。 np.appendおよび全てのstack機能はconcatenateを使用しています。

リストは、私が理解するように、オブジェクトへのポインタを含む連続したデータバッファです。 Pythonはそのバッファに空き領域をいくつか保持しているので、list.appendの追加は比較的高速で簡単です。しかし、フリースペースがいっぱいになると、新しいバッファーとコピーポインターを作成する必要があります。私はそれが大きなリストで高価になる可能性がある場所を見ることができます。

リストには、各要素のポインタと要素自体（たとえばフロート）がメモリ内のどこかに格納されます。対照的に、浮動小数点数の配列は、浮動小数点数そのものを連続したバイトとしてバッファに格納します。 （オブジェクトのdtype配列はもっとリストに似ています）。

アレイを繰り返し作成するには、appendでリストを作成し、最後に1回作成することをお勧めします。繰り返されるnp.appendまたはnp.concatenateは、比較的高価です。

dequeが挙げられた。私はデータがどのように保存されているかはよく分かりません。ドキュメントでは、開始時と同じくらい簡単に要素を追加できますが、ランダムアクセスはリストよりも遅いと言います。これは、何らかのリンクリストにデータを格納することを意味し、nth要素を見つけるには、その前にn-1リンクを横断する必要があります。したがって、成長の容易さとアクセス速度との間にはトレードオフがあります。

リストの先頭に要素を追加するには、新しいポインタのリストを新規に作成する必要があります。したがって、通常のリストの開始から要素を追加したり削除したりすることは、最後に行うよりもはるかに高価です。

推奨ソフトウェアはコアSOの目的外です。他は提案をするかもしれませんが、これが閉鎖されれば驚くことはありません。

大きなデータセット用に設計されたHDF5のようなファイル形式があります。彼らは「チャンク」のような機能で成長に対応します。そして、あらゆる種類のデータベースパッケージがあります。