ブックシェルフで一括アップロードするには？

Question

私は私のデータベースに（20K行程度）CSVファイルからデータをインポートする必要があります。一部の行はデータベースにすでに存在している可能性があるため、更新する必要があるだけですが、新しい行を挿入する必要があります。いずれかの操作が失敗した場合は、トランザクションをキャンセルする必要があります。

どうすればいいですか？これは私が使っていたコードです。

var vehicle = { 
        id: row.id, 
        lastUpdate: moment(row.lastUpdate, 'DD/MM/YYYY - HH:mm').toDate(), 
        version: row.version, 
        color: row.color, 
        location: row.location, 
        status: row.status 
       }; 

       Vehicle.forge({ 
        id: row.id 
       }) 
        .save(vehicle, { transacting: t, patch: true }) 
        .then(model => { 
         console.log('*************' + vehicle.id); 
        }) 
        .catch(Vehicle.NoRowsUpdatedError, err => { 
         // There are no rows for this chassis, so let's insert it 
         Vehicle.forge(vehicle) 
          .save(null, { transacting: t, method: 'insert' }) 
          .then(model => { 
           console.log('++++++++++++++' + vehicle.id); 
          }) 
          .catch(err => { 
           console.log(`INSERT ERROR: ${err.message}`); 
           t.rollback(); 
           return res.json({ status: false, count: 0, error: err.message }); 
          }); 
        }) 
        .catch(err => { 
         console.log(`UPDATE ERROR: ${err.message}`); 
         t.rollback(); 
         return res.json({ status: false, count: 0, error: err.message }); 
        }); 

このコードでは、forループであるが、それはおそらくpromises間の並行処理のため、2回目の反復で失敗します。

私も自分のモデルファイルにカスタム機能を追加しようとしましたが、それは関数が存在しないことを言います。

let bookshelf = require('./base'); 

var Vehicle, 
    Vehicles; 

Vehicle = bookshelf.Model.extend({ 
    tableName: 'vehicles', 

    /** 
    * Insert a model based on data 
    * @param {Object} data 
    * @param {Object} [options] Options for model.save 
    * @return {Promise(bookshelf.Model)} 
    */ 
    create: function (data, options) { 
     return this.forge(data).save(null, options); 
    }, 

    /** 
    * Select a model based on a query 
    * @param {Object} [query] 
    * @param {Object} [options] Options for model.fetch 
    * @param {Boolean} [options.require=false] 
    * @return {Promise(bookshelf.Model)} 
    */ 
    findOne: function (query, options) { 
     options = extend({ require: true }, options); 
     return this.forge(query).fetch(options); 
    }, 

    /** 
    * Select a model based on data and update if found, insert if not found 
    * @param {Object} selectData Data for select 
    * @param {Object} updateData Data for update 
    * @param {Object} [options] Options for model.save 
    */ 
    upsert: function (selectData, updateData, options) { 
     return this.findOne(selectData, extend(options, { require: false })) 
      .bind(this) 
      .then(function (model) { 
       return model 
        ? model.save(
         updateData, 
         extend({ patch: true, method: 'update' }, options) 
        ) 
        : this.create(
         extend(selectData, updateData), 
         extend(options, { method: 'insert' }) 
        ) 
      }); 
    } 
}); 

Vehicles = bookshelf.Collection.extend({ 
    model: Vehicle 
}); 

module.exports = { 
    Vehicle: bookshelf.model('Vehicle', Vehicle), 
    Vehicles: bookshelf.collection('Vehicles', Vehicles) 
}; 

Answer 1

ブックシェルフを使用する代わりに、knexを直接使用してこれを行うことができます。ちょうどあなたが本棚に渡すknexのインスタンスを取得し、あなたはこのようにそれを使用することができます：

knex.transaction((trx) => { 
    return Bluebird.map(vehicles, vehicle => { 
    const insert = knex('vehicles').insert(vehicle).toString(); 
    delete vehicle.id; 
    const update = knex('vehicles').update(vehicle).toString(); 
    const set = update.substring(18); 
    return trx.raw(`${insert} ON CONFLICT (id) DO UPDATE ${set}`); 
    }); 
}); 

私たちは私たちのために私たちの生のクエリの大半を生成するKnexの便利なtoStringメソッドを利用することができます。 Knexが直接サポートしていないとしても、このようにしてupsertを行うことができます。ブルーバードのmap機能はきれいにこのようなデータの配列を処理するのに最適です、あなたは完全にそれをループを有する待つ聞かせ。