Mongodb07 - 聚合

　　MongoDB的产生背景是在大数据环境，所谓的大数据实际上也就是进行数据信息的收集汇总。必须要有信息的统计操作，

而这样的拥挤操作就是聚合（分组统计就是一种聚合操作）。

1、取得集合的数据量 :对于聚合的数据浪而言，在MongoDB里面直接使用count()函数就可以完成。

　　（01）、范例：统计students表中的数据量   =>  db.students.count();

　　（02）、范例：模糊查询   =>  db.students.count({"name":/张/i});

　　　　　　在进行信息查询的时候，不设置条件永远要比设置条件的查询快很多，无论是全部查询还是模糊查询，

　　　　　　实际上都是模糊查询一种（没有设置关键字）；

2、group操作

　　（01）、使用“group”操作可以实现数据的分组操作，在MongoDB里面会将集合一句指定的key的不同进行分组操作，

　　　　　　且每一个组都会产生一个处理的文档结果。

3、MapReduce

　　（01）、MapReduce是整个大数据的精髓所在（实际中别用），所谓的MapRuduce就是分为两步处理数据

　　　　　　|-   Map：将数据分别取出

　　　　　　|-  Reduce：负责数据的最后处理

　　　　　　可是要是想在MongoDB里面实现MapReduce处理，那么复杂度相当高。

　　（02）、范例：建立一组雇员数据

　　　　　　使用MapReduce最终会将处理结果保存一个单独的集合里面。

　　（03）、范例：按照职位分组，取得每个职位的人名   =>   

　　　　　　|-  编写分组定义：

　　　　　　　　var jobMapFun = function(){ emit(this.job,this.name); }//按照job分组，取出name

　　　　　　　　//第一组：{key:"CLERK", value:[姓名,姓名....]}

　　　　　　|- 编写reduce操作：

　　　　　　　　var jobReduceFun = function(key,value){ return {"job":key, "names": value} }

　　　　　　|- 针对MapReduce处理完成的数据实际上也可以执行最后操作；

　　　　　　　　var jobFinalizeFun = function(key,value){ if(key=="PRESIDENT"){ return {"job":key, "names": value,"info":"公司BOOS"}}  return {"job":key, "names": value} }

　　　　　　|-  整合：db.runCommand({"mapreduce":"emps","map":jobMapFun ,"reduce":jobReduceFun ,"out":"t_job_emps","finalize":jobFinalizeFun });

　　　　　　执行之后，所有的处理结果都保存在了“t_job_emps”集合中；

　　（04）、范例：统计出各性别的人数、平均工资、最低工资、雇员姓名

 

var  sexMapFun = function(){
    //定义好了分组的条件，以及每个集合要取出的内容
    emit(this.sex, {"ccount": 1,"csvg": this.salary,"cmax": this.salary,"cmin": this.salary,"cnames": this.name});
}
var sexReduceFun = function(key, values){
    var total = 0 ;//统计
    var sum = 0;//计算总工资
    var max = values[0].cmax;//假设第一个数据是最高工资
    var min = values[0].cmin;//假设第一个数据是最低工资
    var names = new Arrary();//定义数组内容
    for(var x in values){ //表示循环取出里面的数据
        total + values[x].count;  //人数增加
        sum += values[x].csal;  //循环取出所有的工资，累加
        if(max < values[x].cmax){  //不是最高工资
            max = values[x].cmax;
        }
        if(min < values[x].cmin){  //不是最低工资
            min = values[x].cmin;
        }
        names[x] = values[x].cname;//保存姓名
    }
    var avg = (sum/total).toFixed(2);
    return {"count": total,"avg": avg,"max": max,"min": min,"names": names};
}
db.runCommand({
    "mapreduce": "emps",
    "map":sexMapFun,
    "reduce":sexReduceFun,
    "out": "t_sex_emps"
});

 4、聚合框架 $group

　　（01）、MapReduce功能强大，但是复杂度高。所以从Mongo 2.x版本之后开始引入了聚合框架并且提供了聚合函数；

　　（02）、group 主要进行分组的数据操作

　　　　　　范例：实现聚合查询的功能  --  求出每个职位的雇员人数  =>  db.emps.aggregate([{"$group": {"_id:"$job", job_count:{"$sum":1}}}]);

　　　　　　　　　这样操作更加复合于传统group by 子句的操作使用；

　　　　　　范例：求出每个职位的总工资   => db.emps.aggregate([{"$group": {"_id:"$job", job_sal:{"$sum":"$salary"}}]);

　　　　　　　　　在整个聚合框架里面要引用每行的数据使用：“$字段名称”

　　　　　　范例：计算出每个职位的平均工资  =>  db.emps.aggregate([{"$group": {"_id":"$job", "max_sal":{"$max":"$salary"}, "min_sal":{"$min":"$salary"}}}]);

　　　　　　范例：计算出每个职位的工资数据$push（数组显示） =>  db.emps.aggregate([{"$group": {"_id": "$job", "sal_data": {"$push":"$salary"}}}]);

　　　　　　范例：取消重复数据  =>$addToset  db.emps.aggregate([{"$group": {"_id": "$job", "sal_data": {"$addToset":"$name"}}}]);

　　　　　　范例：取出第一个和最后一个数据$frist和$last =>  db.emps.aggregate([{"$group": {"_id": "$job", "sal_data": {"$frist":"$salary"}}}]);

　　　　　　*注：虽然可以方便的实现分组处理，但是有一点需要注意，所有的分组数据是无序的，并且都在内存中完成，不可能支持大数据量。

5、$project

　　（01）、控制数据列的显示规则：

　　　　　　|- 普通列（{成员：1|true}）：表示要显示的内容；

　　　　　　|- “_id”列（{"_id"}: 0|false）：表示id是否显示

　　　　　　|- 条件过滤列（{成员：表达式}）：满足表达式之后的数据可以进行显示。

　　（02）、范例：只显示name、job列，不显示"_id"列  =>  db.emps.aggregate([{"$project": {"_id": 0, "name": 1}}]);//0不显示，1显示

　　　　　　起别名  =>  db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "职位": "$job", "salary": 1}}]);

　　　　　　此时只有设置进去的列才可以被显示出来，而其他的列不显示。实际上就是数据库的投影机制。

　　　　　　*实际上在进行数据投影的过程里面也支持四则运算：加（$add）、减（$subtract）、乘（$multiply）、除（$divide）

　　（03）、范例：计算年薪  =>  db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "job": "$job", "salary": {"年薪": {"$multiply": ["$salary", 12]}}}}]);

　　　　　　

 

　　（04）、除了四则运算也还支持各种运算符：

　　　　　　　　|- 关系运算：大小比较（$cmp）、等于（$eq）、大于（$gt）、大于等于（$gte）、小于（$lt）、小于等于（$lte）、

　　　　　　　　　　　　　　不等于（$ne）、判断null（$ifNull）:这些结果返回的都是布尔型数据

　　　　　　　　|- 逻辑运算：与（$and）、或（$or）、非（$not）

　　　　　　　　|- 字符串操作：连接（$concat）、截取（$substr）、转小写（$toLower）、转大写（$toUpper）、不区分大小写（$strcasecmp）

　　（05）、范例：查询工资大于15000的员工  =>   db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "job": "$job", "salary": {"$gt": ["$salary", 15000]}}]);

　　（06）、范例：使用字符串截取  =>    db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "job": "$job", "job": {"$substr": ["$job",0,3]}}}]);

　　（07）、通过一系列的延时可以总结一点：

　　　　　　　　|- “$project”：相当于SELECT子句

　　　　　　　　|- “$match”：相当于WHERE子句

　　　　　　　　|- “$group”：相当于CROUP BY 子句

6、$sort

　　（01）、使用“$sort”可以实现排序，设置 1 表示升序， 设置 -1 表示降序

　　（02）、范例：排序  =>  db.emps.aggregate([{"$sort": {"age": -1, "salary": 1}}]);

7、分页处理 $limit（负责数据的取出个数）、$skip（数据的跨过个数）

　　（01）、范例跨过一行取出一行（只能先跨再取）=>    db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "job": "$job", "salary": 1},{"$skip": 1},{"$limit": 1}]);

8、$unwind

　　（01）、在查询数据的时候经常会返回数组信息，但是数组并不方便信息的浏览，所以提供有为独立的字符串的内容。

　　（02）、范例：添加一些信息

  db.detps.insert({"title":"技术部","bus":["研发","生产","培训"]});
  db.detps.insert({"title":"财务部","bus":["工资","税收"]});

　　　　　　将信息进行转化  =>   db.detps.aggregate([{"$project": {"_id": 0, "title": 1, "bus": 1}},{"$unwind": "$bus"}]);

　　　　　　

 

9、$geoNear: 使用$geoNear 可获得附近的坐标点

10、$out

　　（01）、“$out”：利用此操作可以查询结果输出到指定的集合里面

　　（02）、范例：将投影的结果输出到集合里 =>   db.emps.aggregate([{"$project": {"_id": 0, "name": 1, "job": "$job", "salary": 1},{"$out":"emp_infos"}]);