Go - まだnet/http経由でストリーミング中のJSONをデコードしてください

Question

これまで、APIエンドポイントからJSONをデコードするのには、以下のようにしました。

client := &http.Client{} 

req, err := http.NewRequest("GET", "https://some/api/endpoint", nil) 
res, err := client.Do(req) 
defer res.Body.Close() 

buf, _ := ioutil.ReadAll(res.Body) 

// ... Do some error checking etc ... 

err = json.Unmarshal(buf, &response) 

次の形式で数メガバイトのJSONデータを送信できるエンドポイントで作業することになります。

{ 
    "somefield": "value", 
    "items": [ 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     { LARGE OBJECT }, 
     ... 
    ] 
} 

JSONには、任意の長さの大きなオブジェクトの配列が含まれることがあります。私はこれらのオブジェクトのそれぞれを取って、別々にそれらをメッセージキューに入れたいと思います。オブジェクト自体をデコードする必要はありません。

通常の方法を使用した場合、これをデコードする前にレスポンス全体がメモリにロードされます。

レスポンスがまだストリーミングされていて、それをキューにディスパッチする際に、LARGE OBJECTアイテムをそれぞれ分割する良い方法はありますか？私はメモリに多くのデータを保持しないようにこれをやっています。

ありがとうございます！

Answer 1

json.DecoderでJSONストリームのデコードが可能です。

Decoder.Decode()では、完全なストリームを消費してアンマーシャリングすることなく、単一の値を読み取る（非マーシャル）ことがあります。これは素晴らしいですが、あなたの入力は一連のJSONオブジェクトではなく、「単一の」JSONオブジェクトです。つまり、Decoder.Decode()を呼び出すと、すべてのアイテム（ラージオブジェクト）で完全なJSONオブジェクトをアンマーシャリングしようとします。

私たちが望むのは、部分的に、単一のJSONオブジェクトのオンザフライ処理です。このため、Decoder.Token()を使用して、JSON入力ストリーム内の次のトークンのみを解析（進化）し、それを返します。これは、イベントドリブン解析と呼ばれます。

もちろん、トークンを「処理」（解釈して行動）し、私たちが処理しているJSON構造内のどこにいるのかを追跡する「状態マシン」を構築する必要があります。

あなたの問題を解決する実装があります。

私たちは、次のようなJSON入力を使用します：

{ 
    "somefield": "value", 
    "otherfield": "othervalue", 
    "items": [ 
     { "id": "1", "data": "data1" }, 
     { "id": "2", "data": "data2" }, 
     { "id": "3", "data": "data3" }, 
     { "id": "4", "data": "data4" } 
    ] 
} 

をそしてitemsを読んで、このタイプによってモデル化された「ラージオブジェクト」：

type LargeObject struct { 
    Id string `json:"id"` 
    Data string `json:"data"` 
} 

は、我々はまた、他のフィールドを解析し、解釈しますJSONオブジェクトですが、ログ/記録のみを行います。

簡潔かつ容易なエラー処理のために、私たちは、このヘルパーエラーハンドラ関数使用します：

he := func(err error) { 
    if err != nil { 
     log.Fatal(err) 
    } 
} 

をそして今のは、いくつかのアクションを見てみましょう。以下の例では簡潔にして、Go Playgroundでデモンストレーションを行い、stringという値から読み上げます。だから、デモ

dec := json.NewDecoder(res.Body) 

：

dec := json.NewDecoder(strings.NewReader(jsonStream)) 
// We expect an object 
t, err := dec.Token() 
he(err) 
if delim, ok := t.(json.Delim); !ok || delim != '{' { 
    log.Fatal("Expected object") 
} 

// Read props 
for dec.More() { 
    t, err = dec.Token() 
    he(err) 
    prop := t.(string) 
    if t != "items" { 
     var v interface{} 
     he(dec.Decode(&v)) 
     log.Printf("Property '%s' = %v", prop, v) 
     continue 
    } 

    // It's the "items". We expect it to be an array 
    t, err := dec.Token() 
    he(err) 
    if delim, ok := t.(json.Delim); !ok || delim != '[' { 
     log.Fatal("Expected array") 
    } 
    // Read items (large objects) 
    for dec.More() { 
     // Read next item (large object) 
     lo := LargeObject{} 
     he(dec.Decode(&lo)) 
     fmt.Printf("Item: %+v\n", lo) 
    } 
    // Array closing delim 
    t, err = dec.Token() 
    he(err) 
    if delim, ok := t.(json.Delim); !ok || delim != ']' { 
     log.Fatal("Expected array closing") 
    } 
} 

// Object closing delim 
t, err = dec.Token() 
he(err) 
if delim, ok := t.(json.Delim); !ok || delim != '}' { 
    log.Fatal("Expected object closing") 
} 

これは、次の出力を生成します実際のHTTPレスポンスボディから読み取るには、我々は唯一の私たちがjson.Decoderを作成する方法である単一の行を、変更する必要が：

2009/11/10 23:00:00 Property 'somefield' = value 
2009/11/10 23:00:00 Property 'otherfield' = othervalue 
Item: {Id:1 Data:data1} 
Item: {Id:2 Data:data2} 
Item: {Id:3 Data:data3} 
Item: {Id:4 Data:data4} 

Go Playgroundの完全な実例を試してください。