一次线上事故，我顿悟了MongoDB的精髓

大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？

让我们一起，一探究竟，继续学习MongoDB分片的理论与实践，实现快速入门，丰富个人简历，提高面试level，给自己增加一点谈资，秒变面试小达人，BAT不是梦。

三分钟你将学会：

1. 一次MongoDB线上事故的快速解决
2. 什么是MongoDB分片？
3. MongoDB如何分片?
4. 何时分片？
5. 搭建MongoDB分片服务器
6. MongoDB如何追踪分片集群数据？

MongoDB拒绝连接？显然是MongoDB服务又挂了。

连接MongoDB服务器，一探究竟。

通过​​ps -aef|grep mongo​​查看mongo服务是否还在？不出所料，都不在了。

大概率是因为磁盘满了。

​​df -TH​​查看磁盘空间。

磁盘100%如何解决？

cd到log目录下，通过​​rm -rf *​​删除所有日志，再重启MongoDB。

mongodb启动异常：about to fork child process, waiting until server is ready for connection

由于MongoDB是集群部署的，启动时，会进行数据同步，可能会比较耗时，性子急的我，怎么能忍，直接Ctrl C，强制停止，然后再重新启动。

通过​​ps -aef|grep mongo​​查看一下进程，两个一样的进程赫然在列。

通过​​ps -aef|grep mongo | grep -v grep | awk '{print $2}' | xargs kill -9​​强制停止所有mongo进程。

将data目录下的 mongod.lock 和 diagnostic.data文件删掉，再重启MongoDB，启动脚本mongos_start.sh（mongod --config data/mongodb.conf），完美解决。

MongoDB服务器的部署目录中都是什么含义呢？它们之间又有什么关系呢？下面简单介绍一下MongoDB的分片。

一、什么是MongoDB分片？

分片是指跨机器拆分数据的过程，也可以叫做分区。

MongoDB支持手动分区，使用这种方法，应用程序会维护到多个不同数据库服务器端的连接，每个服务器端都是完全独立的。应用程序不仅管理不同服务器上不同数据的存储，还管理在适当的服务器上查询数据。但当从集群中添加或删除节点，或者面对数据分布或负载模式的变化时，难以维护。

MongoDB支持自动分片，这种方式试图将数据库架构从应用程序中抽离出来，并简化系统管理。MongoDB自动均衡分片上的数据，使节点的添加和删除变得更容易。

MongoDB的分片机制允许你创建一个由许多分片组成的集群，并将集合中的数据分散在集群中，在每个分片上放置数据的一个子集。这允许应用程序超出单机服务器或副本集的资源限制。

分片组成的集群对应用程序来说就像一台单机服务器，分片前运行一个或多个称为mongos的路由进程，mongos维护着一个“目录”，指明了每个分片包含哪些数据。应用程序可以正常连接到此路由服务器并发出请求。路由服务器知道哪些数据在哪个分片上，可以将请求转发到适当的分片。如果有对请求的响应，理由服务器会收集它们，并将它们合并，然后再返回给应用程序，对应用程序而言，它只知道自己连接到了一个单独的mongod。

二、MongoDB如何分片?

在单台机器上快速建立一个集群。首先，使用​​--nodb​​和​​--norc​​选项启动​​mongo shell​​：​​mongo --nodb --norc​​。

使用ShardingTest类创建集群。运行如下代码：

st = ShardingTest({
  name:"one-min-shards",
  chunkSize:1,
  shards:2,
  rs:{
    nodes:3,
    oplogSize:10
  },
  other:{
    enableBalancer:true
  }
});

• name：分片集群的标签；
• shards：制定了集群由两个分片组成；
• rs：将每个分片定义为一组3个节点的副本集；
• enableBalancer：在集群启动后启用均衡器；

ShardingTest是为了支持服务器端测试套件设计的，它在保持尽可能低的资源占用以及建立体系结构相对复杂的分片集群方面，提供了很多便利。当运行ShardingTest后，它会创建一个包含两个分片的集群，每个分片都是一个副本集。同时会对副本集进行配置，并使用必要的选项启动每个节点以建立复制协议。它会启动一个mongos来管理跨分片的请求，这样客户端就可以像与一个独立的mongod通信一样与集群进行交互。最后，它会为用于维护理由表信心的配置服务器启动一个额外的副本集，以确保查询被定向到正确的分片。

分片的主要使用场景是拆分数据集以解决硬件和成本的限制，或为应用程序提供更好的性能。

当ShardingTest完成集群设置后，将启动并运行10个进程，你可以连接到这些进程：两个副本集（各有3个节点）、一个配置服务器副本集（3个节点），以及一个mongos。默认情况下，这些进程会从20000端口开始。mongos会运行在20009端口上。

三、何时分片？

通常情况下，分片用于：

• 增加可用RAM；
• 增加可用磁盘空间；
• 减少服务器的负载；
• 处理单个MongoDB无法承受的吞吐量；

四、搭建MongoDB分片服务器

1、配置服务器 config进程

配置服务器是集群的大脑，保存着关于每个服务器包含哪些数据的所有元数据，因此必须首先创建配置服务器。配置服务器非常重要，运行时必须启动日志功能，并确保它的数据存储在非临时性驱动器上。

配置服务器必须在任何一个mongos进程之前通过​​mongod -f config.conf​​启动，因为mongos需要从配置服务器中提取配置信息。

当对配置服务器进行写入时，MongoDB会使用“majority” 的 writeConcern级别；
当对配置服务器进行读取时，MongoDB会使用“majority” 的 readConcern级别；

这确保了分片集群元数据在不发生回滚的情况下才会被提交到配置服务器副本集。它还确保了只有那些不受配置服务器故障影响的元数据才能被读取。这可以确保所有mongos路由节点对分片集群中的数据组织方式具有一致性。

在服务器资源方面，配置服务器应该具有充分的网络和CPU资源，配置服务器只保存了集群中数据的目录，因此只需要很少的硬盘存储资源。

由于配置服务器的重要性，在进行任何集群维护前，都应该先对配置服务器的数据进行备份。

2、mongos进程

mongos 是路由服务器，供应用程序连接使用。通过​​mongod -f config.conf​​启动路由服务器，mongos进程需要知道配置服务器的地址，因此需要在config.conf中配置 ​​configdb=configReplSet/配置服务器的三个地址​​，通过配置logpath，保存MongoDB的日志。

应该启动一定数量的mongos进程，并尽可能将其放在靠近所有分片的位置，这样可以提高查询性能。

3、将副本集转换为分片

在依次启动配置服务器、路由服务器后，可以添加分片了，如果之前已经存在副本集，那么这个副本集就会成为第一个分片。

从MongoDB 3.4 开始，对于分片集群，分片的mongod实例必须配置 --shardsvr 选项，也就是在config.conf中添加​​shardsvr=true​​，将副本集转换为分片的过程中，需要对副本集的每个成员都重复以上动作。

将副本集作为分片添加到集群后，就可以将应用程序的连接从副本集改为mongos路由服务器了，并通过设置防火墙，切断应用程序与分片的直接连接。

4、数据分片

（1）如何数据分片

假如有一个test数据库，并在name键上对worker集合进行分片。

1. 先对数据库进行分片，​​> sh.enableSharding("test")​​；
2. 再对集合进行分片，​​sh.shardCollection("test.worker",{"name":1})​​；

如果worker集合已经存在，则必须在name字段上有索引，否则，shardCollection会返回错误。如果分片的集合不存在，mongos会自动在name片键上创建索引。

shardCollection命令会将集合拆分成多个数据块，MongoDB会在集群中的分片间均匀的分散集合中的数据。

五、MongoDB如何追踪集群数据？

1、数据块

因为MongoDB的数据量巨大，MongoDB一般会将文档以数据块的形式进行分组，这些数据块是片键指定范围内的文档，MongoDB一般会用一个较小的表来维护数据块与分片之间的映射关系。

需要注意：

1. 块与块之间不能重叠；
2. 一个块中的文档数量过大时，会自动拆分成两个文档；
3. 一个文档总是属于且仅属于一个块；

2、块范围

1. 新分片的集合中只有一个块，块的边界是负无穷到正无穷；
2. 随着块的增长，MongoDB会自动将其拆分成两块，范围从负无穷到value，value到正无穷。范围较小的块包含比value小的值，范围较大的块包含value和比value大的值；

因此，mongos可以很容易的找到文档在哪个块。

3、拆分块

各个分片的主节点mongod进程会跟踪它们当前的块，一旦达到某个阈值，就会检查该块是否需要拆分，如果需要拆分，mongod就会从配置服务器请求全局块大小配置值，然后执行块拆分并更新配置服务器上的元数据。配置服务器会创建新的块文档，并修改旧块的范围。

当客户端写入一个块时，mongod会检查该块的拆分阈值。

如果已经达到了拆分阈值，mongod就会向均衡器发送一个请求，将最顶部的块进行迁移，否则该块会留在此分片上。

因为具有相同片键的两个文档一定会处于相同的块中，所以只能在片键值不同的文档之间进行拆分。

下面文档如果以readTime分片，是可以的。

但是，如果我读书读的比较快，所有书籍在一个月的时间里都读完了，readTime就会是一样的了，那就无法分片了。

因此拥有不同的片键值在分片时，显得尤其重要。

{"name":"哪吒编程","book":"Java核心技术","readTime":"October"}
{"name":"哪吒编程","book":"Java编程思想","readTime":"October"}
{"name":"哪吒编程","book":"深入理解Java虚拟机","readTime":"October"}
{"name":"哪吒编程","book":"effective java","readTime":"November"}
{"name":"哪吒编程","book":"重构 改善既有代码的设计","readTime":"November"}
{"name":"哪吒编程","book":"高性能MySQL","readTime":"December"}
{"name":"哪吒编程","book":"Spring技术内幕","readTime":"December"}
{"name":"哪吒编程","book":"重学Java设计模式","readTime":"December"}
{"name":"哪吒编程","book":"深入理解高并发编程","readTime":"January"}
{"name":"哪吒编程","book":"Redis设计与实现","readTime":"January"}

分片的前提条件是所有的配置服务器必须启动并可以访问。如果mongod不断接到对一个块的写请求，则它会持续尝试拆分该块并失败，而这些拆分尝试会拖慢mongod。mongod反复尝试分片却无法成功分片的过程被称为拆分风暴。

六、均衡器

均衡器负责数据的迁移。均衡器会定期检查分片之间是否存在不均衡，如果存在，就会对块进行迁移。在MongoDB 3.4 以上的版本上，均衡器位于配置服务器副本集的主节点成员上。

均衡器是配置服务器副本集主节点上的后台进程，它会监视每个分片上的块数量。只有当一个分片上的块数量达到特定迁移阈值时，均衡器才会被激活。