MongoDB聚合管道
使用聚合管道可以对集合中的文档进行变换和组合。
管道是由一个个功能节点组成的，这些节点用管道操作符来进行表示。聚合管道以一个集合中的所有文档作为开始，然后这些文档从一个操作节点流向下一个节点
，每个操作节点对文档做相应的操作。这些操作可能会创建新的文档或者过滤掉一些不符合条件的文档，在管道中可以对文档进行重复操作。
管道表达式只可以操作当前管道中的文档，不能访问其他的文档：表达式操作可以在内存中完成对文档的转换。
语法格式：
db.runCommand({
aggregate: "<collection>",
pipeline: [ <stage>, <...> ],
explain: <boolean>,
allowDiskUse: <boolean>,
cursor: <document>,
bypassDocumentValidation: <boolean>
})
//或
db.collection.aggregate([ <pipeline>, <...> ], options)
参数说明：
|
操作符 |
描述 |
|
aggregate |
要聚合的集合名称 |
|
pipeline |
管道操作符 |
|
explain |
返回指定aggregate各个阶段管道的执行计划信息 |
|
allowDiskUse |
每个阶段管道限制为100MB的内存，如果大于100MB的数据可以先写入临时文件。设置为true时，aggregate操作可时可以先将数据写入对应数据目录的子目录中 |
|
cursor |
指定游标的初始批批大小。光标的字段的值是一个与场batchSize文件。 } |
|
bypassDocumentValidation |
只有当你指定了$out操作符，使db.collection.aggregate绕过文档验证操作过程中。这让您插入不符合验证要求的文档。 |
管道操作符：
|
管道操作符 |
描述 |
|
$project |
数据投影，主要用于重命名、增加和删除字段 |
|
$match |
过滤操作，筛选符合条件文档，作为下一阶段的输入 $match的语法和查询表达式db.collection.find() 的语法相同 |
|
$limit |
限制经过管道的文档数量 $limit的参数只能是一个正整数 |
|
$skip |
从待操作集合开始的位置跳过文档的数目 $skip参数也只能为一个正整数 |
|
$unwind |
将数组分解为单个的元素，并与文档的其余部分一同返回 |
|
$group |
可以将文档依据指定字段的不同值进行分组，如果选定了需要进行分组的字段，就可以将指定的字段传递给$group函数的_id字段 |
|
$sort |
对文档按照指定字段排序 |
|
$geoNear |
会返回一些坐标值，这些值以按照距离指定点距离由近到远进行排序 |
|
$sample |
从待操作的集合中随机返回指定数量的文档 |
|
$lookup |
用于与统一数据库中其他集合之间进行join操作 |
|
$out |
用户将聚合的结果输出到指定的集合，如果要使用$out则必须在整个管道操作的最后阶段 |
|
$redact |
字段所处的document结构的级别. $redact还有三个重要的参数： 1）$$DESCEND： |
聚合管道操作实例
提取字段
db.order.aggregate({ $project: { cust_id: 1, price: 1 } });
db.order.aggregate({ $project: { items: 1, items: { sku: 1 } } });
重命名字段
db.order.aggregate({ $project: { "orderid": '$_id', _id: 0, "custid": '$cust_id' } });
db.order.aggregate({ $project: { items: { '_sku': '$sku', sku: 1 } } })
新建文档
db.order.aggregate({
$project: {
price: 1,
details: { price: '$items.price' }
}
});
注意：由于对字段进行重命名时，MongoDB并不会记录字段的历史名称，所以如果针对原来的字段创建过索引，那么聚合管道在进行排序时无法在下面的排序操作时使用索引，
应当尽量在修改字段名称之前使用排序
db.order.aggregate([{ $project: { "orderid": '$_id', _id: 0, "custid": '$cust_id' } }, { $sort: { custid: -1 } }])
//建议写法
db.order.aggregate([{ $sort: { cust_id: -1 } }, { $project: { "orderid": '$_id', _id: 0, "custid": '$cust_id' } }])
{ $add: [ <expression1>, <expression2>, ... ] } 将多个数字或日期进行相加，只支持数字和时间格式，如果其中一个参数是日期，$add会将其他参数视为要添加到日期的毫秒
db.order.aggregate({
$project: {
"add": {
"$add": ["$price", 1]
}
}
})
{ $subtract: [ <expression1>, <expression2> ] } 接受两个表达式作为参数，使用第一个表达式减去第二个表达式作为结果
db.order.aggregate({
$project: {
"subtract": {
"$subtract": [{ "$add": ["$price", 12] }, 10]
}
}
})
{ $multiply: [ <expression1>, <expression2>, ... ] } 接受一个或多个表达式，并将它们相乘
db.order.aggregate({
$project: {
"multiply": { "$multiply": ["$price", 3] }
}
})
{ $divide: [ <expression1>, <expression2> ] } 接受两个表达式作为参数，使用第一个表达式除以第二个表达式的商作为结果
db.order.aggregate({
$project: {
"divide": { "$divide": ["$price", 3] }
}
})
更多数学表达式参考官方文档 https://docs.mongodb.com/manual/reference/operator/aggregation-arithmetic/
{ $cond: { if: <boolean-expression>, then: <true-case>, else: <false-case-> } } 或{ $cond: [ <boolean-expression>, <true-case>, <false-case> ] } 如果boolean-expression为true则执行true-case否则执行false-case
db.order.aggregate({
$project: {
"price": {
"$cond": { if: { $gt: ["$price", 25] }, then: true, else: false }
}
}
});
//或
db.order.aggregate({
$project: {
"price": {
"$cond": [{ $gt: ["$price", 25] }, true, false]
}
}
});
{ $ifNull: [ , ] } 如果expression 为 null 则返回replacement-expression-if-null 否则返回expression的值
db.order.aggregate({
$project: {
"total": {
"$ifNull": ["$total", 0]
}
}
})
{ $and: [ <expression1>, <expression2>, ... ] } 如果所有表达式都返回true，则结果为true，否则为false 除了布尔类型false，以下几种类型也为false，如：null,0,undefined ；其它值则为true，包括非0的值及数组
//Example Result
{ $and: [1, "green"] } true
{ $and: [] } true
{ $and: [[null], [false], [0]] } true
{ $and: [null, true] } false
{ $and: [0, true] } false
{ $or: [ <expression1>, <expression2>, ... ] } 只要有任意表达式为true，则结果为true，否则为false 除了布尔类型false，以下几种类型也为false，如：null,0,undefined ；其它值则为true，包括非0的值及数组
//Example Result
{ $or: [ true, false ] } true
{ $or: [ [ false ], false ] } true
{ $or: [ null, 0, undefined ] } false
{ $or: [] } false
{ $not: [ <expression> ] } 对expression取反
除了布尔类型false，以下几种类型也为false，如：null,0,undefined ；其它值则为true，包括非0的值及数组
//total不存在为false，取反结果则为true
db.order.aggregate({
$project: {
not: {
$not: "$total"
}
}
})
$match 过滤操作，筛选符合条件文档，作为下一阶段的输入 $match的语法和查询表达式db.collection.find() 的语法相同
db.order.aggregate([{ $match: { cust_id: "1" } }, {
$project: {
"total": {
"$ifNull": ["$total", 0]
}
}
}])
$out 用户将聚合的结果输出到指定的集合
db.order.aggregate([{ $match: { cust_id: "1" } }, {
$project: {
"total": {
"$ifNull": ["$total", 0]
}
}
},
{ $out: "testaggregate" }])
$unwind 将数组分解为单个的元素，并与文档的其余部分一同返回
db.order.aggregate({$unwind:"$items"})
$group 对数据进行分组 $group的时候必须要指定一个_id域，同时也可以包含一些算术类型的表达式操作符
db.order.aggregate([
{
$unwind: "$items"
},
{
$group: {
_id: "$cust_id",
qty: {
$sum: "$items.qty"
}
}
}
])
关系型数据库与MongoDB关于聚合的一些对比