Clojureで `seq`を使うのはいつか？

Question

this SO threadには、大規模なコレクションにseqへの参照を保存すると、コレクション全体がガベージコレクションされないことが分かりました。

最初に、そのスレッドは2009年です。これは「現代の」Clojure（v1.4.0またはv1.5.0）ではまだ当てはまりますか？

第2に、この問題はレイジーシーケンスにも当てはまりますか？たとえば、(def s (drop 999 (seq (range 1000))))は、ガベージコレクタがシーケンスの最初の999要素をリタイアできるようにしますか？

最後に、大きなコレクションでこの問題を回避する方法はありますか？言い換えれば、例えば、1000万要素のベクトルがあれば、消費された部分がガベージコレクションされるような方法でベクトルを消費することができますか？ 1000万要素のハッシュマップがあったらどうなりますか？

私はかなり大きなデータセットで操作しているので、不要なオブジェクトをガベージコレクションできるように、オブジェクトへの参照を保持しないように注意する必要があります。その通りですが、場合によってはjava.lang.OutOfMemoryError: GC overhead limit exceededエラーが発生します。

Answer 1

Clojureは、シーケンスの「先頭を保持」すると、すべてをメモリに保持することが常に強制されます。これは選択肢がありません：あなたはまだそれを参照しています。

しかし、「GCオーバーヘッド限界に達しました」はメモリ不足エラーと同じではありません。つまり、GCをトリックするようにオブジェクトを非常に高速に作成および破棄している架空のワークロードを実行している可能性がありますそれが過負荷になっていると考えることになります。

参照：

• GC overhead limit exceeded

あなたが処理されている項目に実際の作業負荷をかけた場合、私はあなたがこのエラーがこれ以上起こらないことがわかります疑います。この場合、使用可能なメモリよりも大きいレイジーシーケンスを簡単に処理できます。

しかし、ベクトルやハッシュマップなどのコンクリートコレクションは、問題はありません。これらは怠惰ではないため、常にメモリに完全に保持する必要があります。あなたはメモリよりも大きなデータセットを持っている場合は、あなたのオプションが含まれます：

• 使用怠惰なシーケンスをヘッド
• 使用遅延読み込みをサポートして専門的なコレクションに保有していない
（Datomicは、私は信じている。このようないくつかの構造を使用しています）
• データをイベントストリームとして扱う（ストームのようなものを使用）
• データをチャンクに分割して一度に1つずつ処理するカスタムコードを記述します。

Answer 2

バインディングの中でシーケンスの先頭を保持していれば、正しいと判断でき、gc'dできません（それはClojureのすべてのバージョンにあります）。大量の結果を処理している場合、なぜ頭を握る必要がありますか？

そうです、はい！ lazy-seq実装では、既に '処理済み'でバインディング内から直接参照されていない部分をgcできます。あなたがシーケンスの先頭を握っていないことを確認してください。