gocb：golangを使用してcouchbaseに一括挿入 - 全体のデータが挿入されていません

Question

私はSQL ServerインスタンスにJSONデータ（約5000レコード）を作成していて、golangの一括挿入操作を使用してcouchbaseバケットに挿入しようとしています。ここで問題となるのは、データ全体がプッシュされておらず、ランダムなレコード数（2000〜3000）が挿入されているということです。

コードは次のとおりです。私はここで間違っていたところ

package main 

import (
    "database/sql" 
    "log" 
    "fmt" 
    _ "github.com/denisenkom/go-mssqldb" 
    "gopkg.in/couchbase/gocb.v1" 
) 


func main() { 
    var (
     ID string 
     JSONData string 
    ) 

    var items []gocb.BulkOp  
    cluster, _ := gocb.Connect("couchbase://localhost") 
    bucket, _ := cluster.OpenBucket("example", "") 

    condb, _ := sql.Open("mssql", "server=.\\SQLEXPRESS;port=62587; user id=<id>;password=<pwd>;") 

    // Get approx 5000 Records From SQL Server in JSON format 
    rows, err = condb.Query("Select id, JSONData From User") 
    if err != nil { 
     log.Fatal(err) 
     err = nil 
    } 

    for rows.Next() { 
     _ = rows.Scan(&ID,&JSONData) 
     items = append(items, &gocb.UpsertOp{Key: ID, Value: JSONData}) 
    } 

    //Bulk Load JSON into Couchbase 
    err = bucket.Do(items) 
    if err != nil { 
     fmt.Println("ERRROR PERFORMING BULK INSERT:", err) 
    } 

    _ = bucket.Close() 
} 

は教えてください。

FYI sqlクエリの列IDとJSONdataには、有効なキーとJSON文字列が含まれています。また、コード化された方法での改善アドバイスが評価されます。

Answer 1

InsertOpタイプのErrフィールドをチェックしていなかったので、データが容量を超えたときにアイテム配列がオーバーフローし、そのフィールドを印刷すると「キューがオーバーフローしました」というメッセージが表示されることがわかりましたエラーメッセージのスクリーンショットを貼ら

for i := range items { 
    fmt.Println(items[i].(*gocb.InsertOp).Err) 
} 

はここにある： Err.png

は、この制限のための任意の回避策は離れバッチの数にデータを分割し、複数のバルク挿入を行うことからありますか？

Answer 2

いくつかのゴルーチンとチャンネルを同期させてみましょう。挿入する必要がある項目のチャンネルを作成し、16個以上のゴルーチンを起動してチャンネルを読み込み、挿入を実行してから続行します。厳密にシリアルインサータの最も一般的なボトルネックは、ネットワークのラウンドトリップになります。一度に多くのgoroutinesで挿入を実行すると、パフォーマンスが大幅に向上します。

P.S.すべての文書を挿入しない一括挿入の問題は奇妙なものです。私はこれを見ていきます。しかし、上記のように、あなたはupsertをやって、同じキーに対して複数の操作をしている可能性はありますか？

古い質問、エラーの回答セクション： 一括挿入のエラー出力がありますか？