Clojure Tranducersを使用して大きなファイルを解析する：OutOfMemoryエラー

Question

大きなjsonファイル（3GB）を解析し、このファイルの各行に対してハッシュマップを返したいとします。私の直感は、トランスデューサを使って行ごとにファイルを処理し、いくつかの選択されたフィールド（ファイルのバイトの> 5％）を持つベクトルを構築することでした。私はJVisualVMとプロセスを可視化すると、ヒープが終わっ成長

(defn load-with! 
    "Load a file using a parser, a structure and a transducer." 
    [parser structure xform path] 
    (with-open [r (clojure.java.io/reader path)] 
    (into structure xform (parser r)))) 

(def xf (map #(get-in % ["experiments" "results"]))) 
(def parser (comp (partial map cheshire.core/parse-string) line-seq)) 

(load-with! parser (vector) xf "file.json") 

file.json

{"experiments": {"results": ...}} 
{"experiments": {"results": ...}} 
{"experiments": {"results": ...}} 

parser.clj：

ただし、次のコードは、のOutOfMemory例外をスロープロセスがクラッシュする前に25 GBを超えています。

この場合、トランスデューサは適切ですか？より良い選択肢がありますか？

私の要件の1つは、機能の最後に新しい構造を返すことです。したがって、私はdosqを使用してファイルをインプレースで処理することはできません。

さらに、ファイル形式に従ってパーサーとトランスデューサを変更する必要があります。

ありがとうございました！

Answer 1

あなたはかなり近いです。私はjson/parse-stringが何であるか分からないが、json/read-strからhereまで同じであれば、このコードはあなたがそこでやろうとしているものでなければならない。

あなたはこのような何かのために行っていたように見えます：

(require '[clojure.data.json :as json]) 
(require '[clojure.java.io :as java]) 

(defn load-with! 
    "Load a file using a parser, a structure and a transducer." 
    [parser structure xform path] 
    (with-open [r (java/reader path)] 
    (into structure (xform (parser r))))) 

(def xf (partial map #(get-in % ["experiments" "results"]))) 

(def parser (comp (partial map json/read-str) line-seq)) 


(load-with! parser [] xf "file.json") 

私はこれらのここにあなたの最低限の例にすべてのビジネスの詳細を切り出しから作られたばかりのミスだった推測しています。以下のコードを使用すると、上記のコードでOOMエラーが発生した大きなファイルを処理できました。

(require '[clojure.data.json :as json]) 
(require '[clojure.java.io :as java]) 

(def structure (atom [])) 

(defn do-it! [xform path] 
    (with-open [r (java/reader path)] 
    (doseq [line (line-seq r)] 
     (swap! structure conj (xform line))))) 

(defn xf [line] 
    (-> (json/read-str line) 
     (get-in ["experiments" "results"]))) 

(do-it! xf "file.json") 

(take 10 @structure)