GoLang：ゴルーチンでbz2を解凍し、他のゴルーチンで消化する

Question

私は新しい学年のSWEラーニング・ゴー（と愛する）です。

私はウィキペディアのダンプファイル用のパーサーを構築しています。基本的には巨大なbzip2圧縮XMLファイル（〜50GB非圧縮）です。

私はストリーミングの解凍と解析の両方を行いたいですが、それは十分に簡単です。解凍のために、私が行います。その後、

inputFilePath := flag.Arg(0) inputReader := bzip2.NewReader(inputFile)

そしてXMLパーサーにリーダーを渡す：

decoder := xml.NewDecoder(inputFile)

しかし、伸長及び解析の両方が高価な操作なので、私が持っているしたいと思います追加のコアを使用するために、別々のGoルーチンで実行されます。私はGoでこれをどうやってやりますか？

私が考えることができるのは、ファイルをchan []バイトでラップし、io.Readerインターフェイスを実装することだけです。しかし、私はそこに構築された方法（およびクリーナー）があると推測します。

このようなことをしたことがありますか？

ありがとうございます！ マヌエル

Answer 1

あなたはパイプに解凍されたデータをプッシュするio.Copyを使用し、その後、io.Pipeを使用し、他のゴルーチンでそれを読むことができます：

package main 

import (
    "bytes" 
    "encoding/json" 
    "fmt" 
    "io" 
    "sync" 
) 

func main() { 

    rawJson := []byte(`{ 
      "Foo": { 
       "Bar": "Baz" 
      } 
     }`) 

    bzip2Reader := bytes.NewReader(rawJson) // this stands in for the bzip2.NewReader 

    var wg sync.WaitGroup 
    wg.Add(2) 

    r, w := io.Pipe() 

    go func() { 
     // write everything into the pipe. Decompression happens in this goroutine. 
     io.Copy(w, bzip2Reader) 
     w.Close() 
     wg.Done() 
    }() 

    decoder := json.NewDecoder(r) 

    go func() { 
     for { 
      t, err := decoder.Token() 
      if err != nil { 
       break 
      } 
      fmt.Println(t) 
     } 
     wg.Done() 
    }() 

    wg.Wait() 
} 

http://play.golang.org/p/fXLnfnaWYA