Mongo分片集群部署

时间:2022-11-09 08:43:16

1           部署结构

1.1   集群结构

典型的三分片Mongo集群如下图所示,包含三类组件:查询路由、配置服务器、分片。其中查询路由为mongos进程,配置服务器和分片都是mongod进程。配置服务器和分片都采取副本集(replica set)来确保可用性和健壮性,每个副本集最少包含三个节点。查询路由都是单实例运行,没有副本集机制,可根据需要增加实例数量,也可以在外部添加负载均衡。

 Mongo分片集群部署

 

         上图中每个方框仅代表功能集合,不代表物理位置。实际部署时,为了避免单点故障,同一个副本集中的成员,应该部署在不同主机上。比如分片1的三个mongod进程应该运行在三台不同的主机上。

 

1.2   部署方案

 Mongo分片集群部署

                    副本集方案1(一主二从)

 

Mongo分片集群部署

                副本集方案2(一主一从一仲裁)

如上图所示,三成员的副本集方案有两种:一主二从、一主一从一仲裁。

对于方案1来说,每个成员都是数据节点,应该各自独占一台主机,这样三分片集群至少需要9台服务器(配置服务器和查询路由可以复用主机),之后每追加一个分片需要增加3台主机。具体部署情况如下图所示(同颜色的为一组,查询路由为MS,配置服务器为CS*):

        Mongo分片集群部署

 

对于方案2来说,有两个成员是数据节点,两外一个是投票节点(仲裁者),这样三分片集群只需要6台服务器(配置服务器和查询路由依旧复用主机,仲裁者与另一分片的数据节点部署在一台主机),之后每追加一个分片需要增加2台主机。具体部署情况如下图所示(同颜色的为一组,*a表示仲裁者,如Aa、Ba):

 Mongo分片集群部署

 

         可以看出,分片副本集采取一主一从一仲裁方案,更加节省机器资源。结合Mongo分片集群一期部署所能使用的服务器数量为6台,选择第二种部署方案。

2           部署步骤

  1. 安装MongoDB:在所有主机上安装MongoDB
  2. 搭建分片集群:确定各组件节点分布,搭建分片集群
  3. 数据库初始化:创建需要的分片数据库和分片集合,并添加索引
  4. 数据迁移:将生产环境中的Mongo副本集的数据迁移到分片集群中
  5. 应用迁移:将相关应用从副本集迁移到分片集群

上述步骤的具体操作见后续章节

 

 

3           安装MongoDB

操作系统为: 64位CentOS 7

Mongo版本:linux-x86_64-rhel70-3.4.5

注意:所有主机安装的MongoDB版本应当一致。

3.1   检查安装环境

  1. 确定NUMA已关闭

执行grep -i numa /var/log/dmesg,如果输出结果为:No NUMA configuration found,说明NUMA已禁用,否则通过BIOS将其关闭,或者使用numactl来启动mongod进程(安装方法见3.3)。

 

  1. 确定kernel版本不低于2.6.36

执行uname -r,查看返回的版本号

 

  1. 确定glibc版本不低于2.13

执行ldd --version(version前面两个减号),查看返回的版本号

 

  1. 确定ulimit配置

执行ulimit -a,查看当前设置,官方推荐配置如下:

-f (file size): unlimited

-t (cpu time): unlimited

-v (virtual memory): unlimited

-n (open files): 64000

-m (memory size): unlimited

-u (processes/threads): 64000

         主要需要确认的是最大文件数(-n),最大进程数(-u),调整方法如下:

  1. 将最大文件数(-n)修改为64000

编辑/etc/security/limits.conf,写入以下两行

* soft nofile 64000

* hard nofile 64000

b.  将最大进程数(-u)修改为64000

         编辑/etc/security/limits.d/20-nproc.conf,写入以下两行

*          soft    nproc     64000

*          hard    nproc     64000

         配置完成后,重新打开终端确认是否生效。

 

  1. 文件系统采取XFS

执行df -iT,确认主要分区为xfs。

 Mongo分片集群部署

 

 

  1. 禁用Transparent Huge Pages

执行以下命令查看状态:

cat /sys/kernel/mm/transparent_hugepage/enabled

cat /sys/kernel/mm/transparent_hugepage/defrag

输出信息中方括号选中的为当前状态,如果为never表示禁用

 Mongo分片集群部署

 

 

如果不是never,通过执行以下命令禁用:

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

         上面的操作在系统重启后失效,可以通过设置开机禁用,执行crontab -e添加以下内容:

@reboot echo never > /sys/kernel/mm/transparent_hugepage/enabled

@reboot echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

  1. 数据库文件目录所在存储卷关闭atime

执行cat /etc/fstab,查看内容,通常如下所示:

 Mongo分片集群部署

 

         注意每行的第三个配置,默认为defaults,修改准备存放库文件目录的卷,在defaults后面添加“,noatime,nodiratime”,例如放在/home目录下:

 

 Mongo分片集群部署

 

  1. 禁用SELinux

执行sestatus查看状态,如果为disabled,或者permissive模式说明已禁用:

 Mongo分片集群部署

 

         如果未禁用,可以执行setenforce 0来临时禁用。

         想要永久禁用,需要修改/etc/selinux/config,将SELINUX修改为disabled或者permissive,需要重启系统生效。

         如果不想关闭SELinux,可以用以下命令放行Mongo(运行在默认端口27017上):

semanage port -a -t mongod_port_t -p tcp 27017

 

  1. 关闭防火墙

执行service firewall status查看防火墙状态,如果为inactive说明已关闭:

 Mongo分片集群部署

         如果未关闭,执行service firewalld stop。

3.2   安装Mongo

  1. 下载安装包

访问官网https://www.mongodb.com/download-center,下载对应版本安装包(.tgz)

 

Mongo分片集群部署

  1. 将安装包拷贝服务器上,例如/tmp目录下

 

  1. 打开终端进入安装包所在目录(/tmp),将其解压,会在目录下生成mongodb-***的目录

tar zxf mongodb-linux-x86_64-rhel70-3.4.5.tgz

 

  1. 将解压后的目录拷贝到安装路径(例如/opt/mongodb),执行命令:

mv mongodb-linux-x86_64-rhel70-3.4.5 /opt/mongodb

 

  1. 在环境变量PATH中添加二进制文件路径

MongoDB的二进制文件在Mongo安装路径的bin/目录下。可以通过修改PATH变量。

编辑shell的rc文件:

vi ~/.bashrc

在最后添加下面这行:

export PATH=/opt/mongodb/bin:$PATH

         注意:此环境变量与仅对当前用户有效。

 

  1. 验证安装成功

重新打开中断,输入命令:

mongo --version

         如果显示以下信息,说明安装成功。

 Mongo分片集群部署

 

3.3   安装numactl

对于启用了NUMA的主机,如果无法通过BIOS关闭,可以安装numactl工具。

  1. 下载rpm安装包

https://centos.pkgs.org/7/centos-x86_64/numactl-2.0.9-6.el7_2.x86_64.rpm.html

  1. 将安装包拷贝到需要运行Mongo的主机上,然后执行命令

rpm -ivh numactl-2.0.9-6.el7_2.x86_64.rpm

         显示以下信息说明安装成功。

 Mongo分片集群部署

 

3.4   安装bwm-ng

bwm-ng是监控网络带宽和磁盘IO的工具。它的官网是:http://www.gropp.org/,当前最新下载地址为:https://www.gropp.org/bwm-ng/bwm-ng-0.6.1.tar.gz,安装步骤如下:

  1. 下载安装包
  2. 将安装包拷贝到主机上(例如拷贝到/tmp/目录下)
  3. 将安装包解压:

tar zxvf bwm-ng-0.6.tar.gz

  1. 进入解压后的目录并编译安装:

cd bwm-ng-0.6.1

./configure && make && make install

  1. 检查是否安装成功,执行:

bwm-ng

         正常会显示类似如下信息:

 Mongo分片集群部署

 

常用监控命令:

  1. 监控网络带宽

bwm-ng -u bits -d

bwm-ng -u bytes -d

 

  1. 监控磁盘IO

bwm-ng -u bytes -i disk

 

4           搭建分片集群

注意:分片集群中所有实例的Mongo版本应当一致。

4.1   分片集群规划

4.1.1  节点分配

以三分片集群为例,它包含15个进程节点,3个路由(mongos)、1个配置服务器副本集(3个mongod组成)、3个分片副本集(每个由3个mongod组成)。因为实际环境有6台主机(140-145),所以每个主机上需要运行不止一个进程。

对资源消耗比较大的是分片中的数据节点(主节点或从节点),每台主机上最好只运行一个数据节点,这样就只能有6个数据节点,平摊到每个分片有2个数据节点,所以每个分片采取1主(primary)1从(secondary)1仲裁(arbiter)的结构。

142、143、144服务器依次部署分片1、分片2、分片3的主节点;145、140、141服务器依次部署分片1、分片2、分片3的从节点。除了这六个节点,剩余3个路由节点、3个配置服务器节点和分片1-3的仲裁节点。

考虑到路由需要和配置服务器通信,所以路由和配置服务器两两部署在一起;另外路由与分片主节点通信也较多,所以就在每个分片主节点所在服务器上部署1个路由节点和1个配置服务器节点。这样142服务器上有分片1的主节点、1个路由节点、1个配置服务器节点;143服务器上有分片2的主节点、1个路由节点、1个配置服务器节点;144服务器上有分片3、1个路由节点、1个配置服务器节点。

至此还剩分片1-3的仲裁节点没有分配。考虑主机资源的均衡,将它们部署到从节点服务器上。同时为了避免单点故障(一个分片里同时挂掉两个节点),每个仲裁节点不放在相同分片的从节点主机上。这样145服务器上有分片1的从节点、分片3的仲裁节点;140服务器上有分片2的从节点、分片1个仲裁节点;142服务器上有分片3的从节点、分片2的仲裁节点。

这样三分片集群节点在6台服务器上的分配情况如下:

序号

主机

组件

1

10.20.50.142

配置服务器-primary

分片1-primary

路由

2

10.20.50.143

配置服务器-secondary

分片2-primary

路由

3

10.20.50.144

配置服务器-secondary

分片3-primary

路由

4

10.20.50.145

分片1-secondary

分片3- arbiter

5

10.20.50.140

分片2-secondary

分片1- arbiter

6

10.20.50.141

分片3-secondary

分片2- arbiter

 

4.1.2  端口、路径和磁盘规划

  1. 端口规划

根据上一节的节点分配,每台服务器上运行不止一个节点,而每个节点都需要占用端口,所以需要对端口进行规划。

因为MongoDB的默认端口是27017,每台主机可以有一个实例使用该端口,考虑到集群搭建过程中的便利性(不需要指定端口),所以将27017端口分配给每台主机上的数据节点(分片的主节点或从节点)。145、140、141主机上还有的仲裁节点,分配相同的28017端口。142、143、144主机上还有配置服务器节点和路由节点,也考虑根据类型分别分配相同端口,配置服务器分配28018端口,路由分配29017端口。

         至此端口分配完成

序号

主机

组件

1

10.20.50.142

分片1-primary(27017)

配置服务器-primary(28017)

路由(29017)

2

10.20.50.143

分片2-primary(27017)

配置服务器-secondary(28017)

路由(29017)

3

10.20.50.144

分片3-primary(27017)

配置服务器-secondary(28017)

路由(29017)

4

10.20.50.145

分片1-secondary(27017)

分片3- arbiter(28017)

5

10.20.50.140

分片2-secondary(27017)

分片1- arbiter(28017)

6

10.20.50.141

分片3-secondary(27017)

分片2- arbiter(28017)

        

  1. 路径和磁盘规划

         每个节点实际是mongod或mongos进程,需要有自己的运行目录,所以需要对运行目录的路径进行规划。出于方便考虑,将每台主机的多个节点运行目录放在同一个根路径下,然后根路径下各自占使用一个子目录,子目录以节点用途命名(例如路由的运行目录为router、配置服务器的运行目录为confsrv、分片1-3的运行目录为shard1/shard2/shard3)

至于运行根目录,考虑到数据节点需要使用大量磁盘资源,所以应该选择磁盘容量最大的分区。例如,如果所有磁盘划分在根分区下(/),运行根目录就选择/var/mongodb/(var目录一般用来存储运行数据,如数据库文件等),如果磁盘主要划分在home分区(/home),下就选择/home/var/mongodb/。

以所有磁盘划分在根分区为例,配置服务器的运行目录为/var/mongodb/confsrv/,路由的运行目录为/var/mongodb/router/,分片的运行目录为/var/mongodb/shard1/、/var/mongodb/shard2/、/var/mongodb/shard3/。每个节点的配置文件、日志文件、PID文件都输出到运行目录中。另外除了路由节点之外,其余节点都需要存储数据,所以都在运行目录下创建dbpath文件夹作为数据目录。

         至此各个节点的运行路径就划分完成,如下表所示:

序号

组件

IP

运行目录

数据目录

1

配置服务器

primary

10.20.50.142

/var/mongodb/confsrv/

/var/mongodb/confsrv/dbpath/

2

配置服务器

secondary

10.20.50.143

/var/mongodb/confsrv/

/var/mongodb/confsrv/dbpath/

3

配置服务器

secondary

10.20.50.144

/var/mongodb/confsrv/

/var/mongodb/confsrv/dbpath/

4

分片1

primary

10.20.50.142

/var/mongodb/shard1/

/var/mongodb/shard1/dbpath/

5

分片1

secondary

10.20.50.145

/var/mongodb/shard1/

/var/mongodb/shard1/dbpath/

6

分片1

arbiter

10.20.50.140

/var/mongodb/shard1/

/var/mongodb/shard1/dbpath/

7

分片2

primary

10.20.50.143

/var/mongodb/shard2/

/var/mongodb/shard2/dbpath/

8

分片2

secondary

10.20.50.140

/var/mongodb/shard2/

/var/mongodb/shard2/dbpath/

9

分片2

arbiter

10.20.50.141

/var/mongodb/shard2/

/var/mongodb/shard2/dbpath/

10

分片3

primary

10.20.50.144

/var/mongodb/shard3/

/var/mongodb/shard3/dbpath/

11

分片3

secondary

10.20.50.141

/var/mongodb/shard3/

/var/mongodb/shard3/dbpath/

12

分片3

arbiter

10.20.50.145

/var/mongodb/shard3/

/var/mongodb/shard3/dbpath/

13

路由

10.20.50.142

/var/mongodb/router/

14

路由

10.20.50.143

/var/mongodb/router/

15

路由

10.20.50.144

/var/mongodb/router/

 

 

4.1.3  集群规划清单

根据前两节的分析,对集群中各组件的最终规划如下:

序号

组件

IP

Port

副本集名称

进程

运行目录

1

配置服务器

primary

10.20.50.142

28017

confsrv

mongod

/var/mongodb/confsrv/

2

配置服务器

secondary

10.20.50.143

28017

confsrv

mongod

/var/mongodb/confsrv/

3

配置服务器

secondary

10.20.50.144

28017

confsrv

mongod

/var/mongodb/confsrv/

4

分片1

primary

10.20.50.142

27017

shard1

mongod

/var/mongodb/shard1/

5

分片1

secondary

10.20.50.145

27017

shard1

mongod

/var/mongodb/shard1/

6

分片1

arbiter

10.20.50.140

28017

shard1

mongod

/var/mongodb/shard1/

7

分片2

primary

10.20.50.143

27017

shard2

mongod

/var/mongodb/shard2/

8

分片2

secondary

10.20.50.140

27017

shard2

mongod

/var/mongodb/shard2/

9

分片2

arbiter

10.20.50.141

28017

shard2

mongod

/var/mongodb/shard2/

10

分片3

primary

10.20.50.144

27017

shard3

mongod

/var/mongodb/shard3/

11

分片3

secondary

10.20.50.141

27017

shard3

mongod

/var/mongodb/shard3/

12

分片3

arbiter

10.20.50.145

28017

shard3

mongod

/var/mongodb/shard3/

13

路由

10.20.50.142

29017

mongos

/var/mongodb/router/

14

路由

10.20.50.143

29017

mongos

/var/mongodb/router/

15

路由

10.20.50.144

29017

mongos

/var/mongodb/router/

 

         各台主机上部署的组件清单如下:

序号

主机

组件

1

10.20.50.142

配置服务器-primary(28017)

分片1-primary(27017)

路由(29017)

2

10.20.50.143

配置服务器-secondary(28017)

分片2-primary(27017)

路由(29017)

3

10.20.50.144

配置服务器-secondary(28017)

分片3-primary(27017)

路由(29017)

4

10.20.50.145

分片1-secondary(27017)

分片3- arbiter(28017)

5

10.20.50.140

分片2-secondary(27017)

分片1- arbiter(28017)

6

10.20.50.141

分片3-secondary(27017)

分片2- arbiter(28017)

         组件规划确定后,下面就进入搭建集群的实操阶段。

4.2   创建配置服务器

  1. 创建运行目录

在142、143、144服务器上创建运行目录(应该放磁盘容量最大的卷中),例如:

mkdir -p /var/mongodb/confsrv/dbpath/

 

  1. 创建配置文件

在运行目录(/var/mongodb/confsrv/)中创建配置文件mongod-cs.cnf,内容如下:

sharding:

  clusterRole: configsvr

replication:

  replSetName: confsrv

  oplogSizeMB: 10240

systemLog:

   destination: file

   path: /var/mongodb/confsrv/mongod-cs.log

   logAppend: true

net:

   port: 28017

storage:

   dbPath: /var/mongodb/confsrv/dbpath/

   directoryPerDB: true

processManagement:

   fork: true

   pidFilePath: /var/mongodb/confsrv/mongod-cs.pid

         其中依次设置了:集群角色(configsrv)、副本集名称(confsrv)、操作日志大小、日志设置、端口(28017)、存储设置、后台运行(fork)、PID文件路径。

         更多配置见:https://docs.mongodb.com/manual/reference/configuration-options/

 注意:配置中所有冒号后面必须增加空格

 

  1. 启动mongod实例

mongod --config /var/mongodb/confsrv/mongod-cs.cnf

         注意:如果运行在启用了NUMA的主机上,使用numactl来启动:

numactl --interleave=all mongod --config /var/mongodb/confsrv/mongod-cs.cnf

启动之后,根据配置,日志文件、pid文件会写入/var/mongodb/confsrv/,数据会写入/var/mongodb/confsrv/dbpath/。

 

注意:确保在三个配置服务器节点上(142、143、144)均完成上述步骤。

 

  1. 连接并初始化

在142上使用mongo shell连接mongod实例,执行:

mongo --port 28017

         在mongo shell中初始化副本集(注意_id要与配置文件中的replSetName一致,host中为主机IP或可解析域名+端口),执行:

rs.initiate(

  {

         _id: "confsrv",

         configsvr: true,

         members: [

           { _id : 0, host : "10.20.50.142:28017" },

           { _id : 1, host : "10.20.50.143:28017" },

           { _id : 2, host : "10.20.50.144:28017" }

          

         ]

  }

)

         如果操作完成,会返回成功的提示信息({"ok" : 1.0}),否则会给出错误信息。

这样一主二从的配置服务器副本集就搭建完成。

 

查看副本集配置,执行:

rs.conf()

         查看副本集状态,执行:

rs.status()

 

  1. 添加副本集成员(可选)

如果还要追加副本集成员,通过mongo shell连接配置服务器副本集主节点实例,然后执行:

rs.add("<host>:<port>")

         其中<host>、<port>替换为相应节点的主机名(ip或域名)和端口

         详细操作可以参考:https://docs.mongodb.com/manual/tutorial/expand-replica-set/

 

注:配置完成后优先确认网络通畅,防火墙关闭或端口不被屏蔽,如果中间有操作错误,可以使用如下命令进行重新配置:

conf = {

         _id: "confsrv",

         configsvr: true,

         members: [

           { _id : 0, host : "10.20.50.140:28017" },

           { _id : 1, host : "10.20.50.141:28017" },

           { _id : 2, host : "10.20.50.142:28017" }

          

         ]

  }

回车

rs.initiate(conf,{force:true})  //已经运行的系统此命令不建议使用

 

 

4.3   创建分片

  1. 创建运行目录

以分片1为例,在142服务器上创建运行目录(应该放在磁盘容量最大的卷中),例如:

mkdir -p /var/mongodb/shard1/dbpath/

 

  1. 创建配置文件

在运行目录(/var/mongodb/shard1/)中创建配置文件mongod- sh.cnf,内容如下:

sharding:

  clusterRole: shardsvr

replication:

  replSetName: shard1

  oplogSizeMB: 10240

systemLog:

   destination: file

   path: /var/mongodb/shard1/mongod-sh.log

   logAppend: true

net:

   port: 27017

storage:

   dbPath: /var/mongodb/shard1/dbpath/

   directoryPerDB: true

processManagement:

   fork: true

   pidFilePath: /var/mongodb/shard1/mongod-sh.pid

         其中依次设置了:集群角色(shardsvr)、副本集名称(shard1)、操作日志大小、日志设置、端口(27017)、存储设置、后台运行(fork)、PID文件路径。

         更多配置见:https://docs.mongodb.com/manual/reference/configuration-options/

 

  1. 启动mongod实例

mongod --config /var/mongodb/shard1/mongod-sh.cnf

注意:如果运行在启用了NUMA的主机上,使用numactl来启动:

numactl --interleave=all mongod --config /var/mongodb/shard1/mongod-sh.cnf

         启动之后,根据配置,日志文件、pid文件会写入/var/mongodb/shard1/,数据会写入/var/mongodb/shard1/dbpath/。

 

在145服务器上完成以上步骤,在140服务器也完成以上步骤(注意:根据规划,需要将配置文件中的端口改为28017)

 

  1. 连接并初始化

在142上使用mongo shell连接mongod实例,执行:

mongo --port 27017 或者 mongo

         在mongo shell中初始化副本集(注意:_id要与配置文件中的replSetName一致,host中为主机IP或可解析域名+端口),执行:

rs.initiate(

  {

         _id: "shard1",

         members: [

           { _id : 0, host : "10.20.50.142", priority: 10 },

           { _id : 1, host : "10.20.50.145", priority:5 }

          

         ]

  }

)

         primary节点和secondary节点就加入分片副本集了,还需要添加arbiter节点,执行:

rs.addArb("10.20.50.140:28017")

         这样一主一从一仲裁的分片集群就搭建完成。

 

查看副本集配置,执行:

rs.conf()

         查看副本集状态,执行:

rs.status()

 

  1. 添加副本集成员(可选)

如果还要追加副本集成员,通过mongo shell连接配置服务器副本集主节点实例,然后执行:

rs.add("<host>:<port>")

         其中<host>、<port>替换为相应节点的主机名(ip或域名)和端口

         详细操作可以参考:https://docs.mongodb.com/manual/tutorial/expand-replica-set/

 

  1. 按照1-5步,分别创建分片2副本集(143、140、141)和分片3副本集(144、141、145)

分片2、分片3的配置如下,仅仅是replSetName和运行目录不同:

sharding:

  clusterRole: shardsvr

replication:

  replSetName: shard2

  oplogSizeMB: 10240

systemLog:

   destination: file

   path: /var/mongodb/shard2/mongod-sh.log

   logAppend: true

net:

   port: 27017

storage:

   dbPath: /var/mongodb/shard2/dbpath/

   directoryPerDB: true

processManagement:

   fork: true

   pidFilePath: /var/mongodb/shard2/mongod-sh.pid

 

sharding:

  clusterRole: shardsvr

replication:

  replSetName: shard3

  oplogSizeMB: 10240

systemLog:

   destination: file

   path: /var/mongodb/shard3/mongod-sh.log

   logAppend: true

net:

   port: 27017

storage:

   dbPath: /var/mongodb/shard3/dbpath/

   directoryPerDB: true

processManagement:

   fork: true

   pidFilePath: /var/mongodb/shard3/mongod-sh.pid

         另外,在执行步骤4进行初始化时,注意对应修改_id和host。

 

4.4   创建查询路由

  1. 创建运行目录

在142服务器上创建运行目录(应该放在磁盘容量最大的卷中),例如:

mkdir -p /var/mongodb/router/

 

  1. 创建配置文件

在运行目录(/var/mongodb/router/)中创建配置文件mongos.cnf,内容如下:

sharding:

  configDB: confsrv/10.20.50.142:28017,10.20.50.143:28017,10.20.50.144:28017

systemLog:

   destination: file

   path: /var/mongodb/router/mongos.log

   logAppend: true

net:

   port: 29017

processManagement:

   fork: true

   pidFilePath: /var/mongodb/router/mongos.pid

其中依次设置了:配置服务器(configDB)、系统日志、端口(29017)、后台运行(fork)、PID文件路径。

        

  1. 启动mongos实例(注意:这里是mongos,而上面都是mongod)

mongos --config /var/mongodb/router/mongos.cnf

         启动之后,根据配置,日志文件、pid文件会写入/var/mongodb/router/

 

  1. 在143、144上重复上述步骤

 

注意:当路由(mongos)成为性能瓶颈时,可以多配置几个。

 

4.5   添加分片

在142上(143、144也行)使用mongo shell连接mongos实例,执行:

mongo --port 29017

然后将上面创建的三个分片依次添加进来,执行:

sh.addShard( "shard1/10.20.50.142:27017")

sh.addShard( "shard2/10.20.50.143:27017")

sh.addShard( "shard3/10.20.50.144:27017")

         操作完成后,可以查看分片集群状态,执行:

sh.status()

         会发现每个分片除了添加的主节点外,从节点也自动加入了,后续分片副本集如果发生变化(增删节点)也会自动识别出来。

shards:

         {  "_id" : "shard1",  "host" : "shard1/10.20.50.142:27017,10.20.50.145:27017",  "state" : 1 }

         {  "_id" : "shard2",  "host" : "shard2/10.20.50.143:27017,10.20.50.140:27017",  "state" : 1 }

         {  "_id" : "shard3",  "host" : "shard3/10.20.50.144:27017,10.20.50.141:27017",  "state" : 1 }

 

4.6   设置开机启动

通过crontab将分片集群各组件设置为开机启动,以142主机为例,具体操作如下:

  1. 编辑crontab,执行:

crontab -e

 

  1. 在打开的crontab文件中末尾追加以下内容:

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/confsrv/mongod-cs.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard1/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongos --config /var/mongodb/router/mongos.cnf

 

对于143、144、145、140、141五台主机,crontab添加的内容如下(根据组件规划):

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/confsrv/mongod-cs.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard2/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongos --config /var/mongodb/router/mongos.cnf

 

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/confsrv/mongod-cs.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard3/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongos --config /var/mongodb/router/mongos.cnf

 

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard1/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard3/mongod-sh.cnf

 

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard2/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard1/mongod-sh.cnf

 

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard3/mongod-sh.cnf

@reboot /opt/mongodb/bin/mongod --config /var/mongodb/shard2/mongod-sh.cnf

 

5           数据库初始化

根据目前需求,过人过车数据存放在o2m数据库中。相关集合如下表所示:

序号

集合名称

所存数据

1

passPerson1

客运站过人

2

passPerson2

火车站过人

3

passPerson3

机场过人

4

passPerson4

检查站过人

5

passPerson5

酒店过人

6

passPerson7

二手车交易过人

7

passPerson99

社会化过人

8

visitorPerson

访客机过人

9

vehicle

检查站过车

         其中客运站过人、火车站过人、机场过人、检查站过人需要进行分片处理,所以先o2m数据库启用分片,然后再将上述四个集合分片。

 

  1. 连接到mongos,执行:

mongo --host 10.20.50.142 --port 29017

 

2. 对o2m数据库启用分片,执行:

sh.enableSharding("o2m")

 

3. 将相关集合分片(这里采取stationNo+passTime的组合片键),执行:

sh.shardCollection("o2m.passPerson1", { stationNo:1, passTime:1 } )

sh.shardCollection("o2m.passPerson2", { stationNo:1, passTime:1 } )

sh.shardCollection("o2m.passPerson3", { stationNo:1, passTime:1 } )

sh.shardCollection("o2m.passPerson4", { stationNo:1, passTime:1 } )

         注:片键后面的方向只能是升序(即1)

 

4. 查询分片集合的数据分布情况(例如passPerson1),执行:

db.passPerson1.stats()

         返回结果的shards节点中包含有各分片情况:

 

  1. 添加索引

db.passPerson1.createIndex( { passTime:1, stationNo:1, nationCode:1, genderCode:1, cardNoPrefix6:1 } )

db.passPerson1.createIndex( { cardNo:1 } )

 

注:因为o2m数据库已经启用分片,其中未分片的集合会存储在某个单一分片上,之后某个集合需要分片,参考步骤3执行即可。

6           数据迁移

  1. 导出原始数据

例如,从原副本集(运行在27017端口)中导出o2m数据库,执行:

mongodump --host 10.20.50.135 --db o2m -o /tmp/mongodump/

         数据会导出到/tmp/mongodump/下的o2m目录中

  1. 导入分片集群

数据导入需要通过mongos,使用-h参数指定mongos实例的IP和端口,使用-d参数指定数据库,试用-c参数指定集合,例如导入火车站过人数据,执行:

mongorestore -h 10.20.50.140:29017 -d o2m -c passPerson2 /tmp/mongodump/test/railwayPerson.bson

         导入过程中,会显示进度信息。

 

7           应用迁移

分片集群对于客户端应用来说是透明的,客户端应用只需将分片集群视为单个mongod实例,所有客户端请求都连接分片集群中的路由(mongos)。

应用只需将原有Mongo配置指向路由即可(例如10.20.50.140:29017),如果想要使用多个路由,可以将多个路由地址用逗号连接,类似副本集的配置(192.168.30.139:29017,192.168.30.141:29017,192.168.30.145:29017)