MongoDB: 聚集管道

时间:2024-01-16 08:25:08

在MongoDB2.2新出现的。

聚集管道式基于数据处理管道概念建模的数据聚集框架。文档进入一个多阶段能将该文档转化为聚集结果的管道。

聚集管道提供了map-reduce方法了替代物,并在非常多聚集任务中是首选的方案,由于map-reduce的复杂性可能是你不希望看到的。

MongoDB: 聚集管道

上图是一个带凝视的聚集管道的操作,有两个阶段:$match和$group

聚集管道在值的类型和结果大小上有非常多限制。

以下简介。

聚集操作在使用aggregate命令时有的限制:

  • 类型限制

聚集管道不是在下列类型的值上进行操作:Symbol,Minkey,MaxKey,DBRef,Code和CodeWSrope

(在MongoDB2.4版本号解除了对Binary类型的限制。

在MongoDB2.2,管道不能对Binary类型数据操作)

  • 结果限制大小

假设aggregate命令返回的单个文档保护完整的结果集。则该命令在结果集超过BSON Document Size限制时会产生一个错误,眼下的大小是16M。

为了管理超过这一限制的结果集,aggregate命令当命令返回一个游标(cursor)或把结果保存在一个collection里时,可以返回随意大小的结果集。

(在MongoDB2.6,aggregate命令返回一个游标或把结果存在一个collection时。能不受这个限制大小。db.collection.aggregate()返回一个游标,能返回随意大小的结果集。)

  • 内存限制

在MongoDB2.6有了变化。

管道阶段在RAM有100M的限制。

假设超过这一限制,MongoDB会出错。为了同意操作大型数据。能够使用allowDiskUse选项来时聚集管道阶段能往暂时文件写数据。

管道

管道。顾名思义就是来自集合的文档通过一个聚集管道的旅行,当通过当中时该管道能转化这些对象。对熟悉Unix shells命令的(如 bash),这个概念和管道(pipe)非常类似。

MongoDB的聚集管道以一个集合的文档開始,流动文档从一个管道操作(pipeline operator)到下一个来处理文档。

在管道的每个操作符在文档经过管道时都会转化文档。管道操作符不须要为每个输入文档产生一个输出文档。

操作符能够产生新文档也能过滤文档。

管道操作能在一个管道里面反复。

管道表达式

每个管道操作符接受一个管道表达式作为操作数。管道表达式指出应用在输入文档的转化过程。

表达式有一个文档(document)结构,并包括字段。值和操作符。

管道表达式仅仅能操作在管道中的当前文档,不能引用在其它文档的数据:表达式提供了内存(in-memory)文档转化。

一般的。表达式是无状态的,仅仅在聚集过程时有一个例外:Accumulation expressions。累加表达式,使用$group管道,维持他们的状态(如,totals,maximums,mininums和相关数据)作为通过管道的文档过程。

聚集管道行为

在MongoDB,aggregate命令操作单个集合。并在逻辑上传递整个文档给聚集管道。为了优化这个操作。在可能的情况下,应该使用以下策略来避免扫描整个集合。

  1. 管道操作符和索引

$match和$sort管道操作符可以利用索引的优势,假设他们在管道的開始位置出现。

(在Mongo2.4新出现的:$geoNear管道操作符能利用地理索引的优势。

当使用$geoNear。$geoNear必须在聚集管道的第一阶段出现。)

即使管道使用了索引。聚合操作依旧要訪问实际的文档。比方,索引不能全然覆盖聚集管道。

(在Mongo2.6之前的版本号。对规模很小的选择情况,索引可以覆盖管道)

提前过滤

假设你的聚集应用仅须要一个集合的一个数据子集。使用 $match。$limit,$skip阶段在文档进入管道时去限制文档.当被放置在管道的開始,$match操作符使用合适的索引去扫描集合匹配的文档.

在管道的開始紧跟着$sort阶段放置$match在逻辑上等价于一个使用排序的单一查询,并能够使用索引.假设可能的话,把$match放置在管道的开头.