mongodb aggregate group分组实现数据滤重

db.CollectionName.aggregate([
    {$group: { _id: {fieldName1: '$fieldName1',fieldName2:'$fieldName2'},count: {$sum: 1},dups: {$addToSet: '$_id'}}
    },
    {$match: {count: {$gt: 1}}}
], { allowDiskUse: true }).forEach(function(doc){
    doc.dups.shift();
    db.CollectionName.remove({_id: {$in: doc.dups}});
})

 

1.根据userName和age分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段

2.使用$match匹配数量大于1的数据

3.doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据

4.使用forEach循环根据_id删除数据