MongoDB-复制集rs及sharding cluster

一、mongoDB复制集

1.1、复制集简介

1）一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，这是生产部署的基础。保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因为单点损坏而丢失。能够随时应对数据丢失、机器损坏带来的风险。

2）换一句话来说，还能提高读取能力，用户的读取服务器和写入服务器在不同的地方，而且，由不同的服务器为不同的用户提供服务，提高整个系统的负载，简直就是云存储的翻版...

3）一组复制集就是一组mongod实例掌管同一个数据集，实例可以在不同的机器上面。实例中包含一个主导，接受客户端所有的写入操作，其他都是副本实例，从主服务器上获得数据并保持同步。主服务器很重要，包含了所有的改变操作（写）的日志。但是副本服务器集群包含有所有的主服务器数据，因此当主服务器挂掉了，就会在副本服务器上重新选取一个成为主服务器。

4）每个复制集还有一个仲裁者，仲裁者不存储数据，只是负责通过心跳包来确认集群中集合的数量，并在主服务器选举的时候作为仲裁决定结果。

1.2、复制集基本原理

1、基本构成是1主2从的结构，自带互相监控投票机制（Raft（MongoDB），Paxos（mysql MGR 用的是变种））

2、如果发生主库宕机，复制集内部会进行投票选举，选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知客户端程序，主库已经发生切换了。应用就会连接到新的主库。

1.3、复制集架构

1.3.1、一主二从架构

一个包含3个mongod的复制集架构如下所示：

如果主服务器失效，会变成：

1.3.2、一主一从一仲裁

如果主服务器失效：

1.3.3、隐藏节点

客户端将不会把读请求分发到隐藏节点上，即使我们设定了复制集读选项。这些隐藏节点将不会收到来自应用程序的请求。我们可以将隐藏节点专用于报表节点或是备份节点。延时节点也应该是一个隐藏节点。

1.3.4、延时节点

延时节点的数据集是延时的，因此它可以帮助我们在人为误操作或是其他意外情况下恢复数据。举个例子，当应用升级失败，或是误操作删除了表和数据库时，我们可以通过延时节点进行数据恢复。

{ 
"_id" : <num>, "host" : <hostname:port>, "priority" : 0, 
"slaveDelay" : <seconds>, "hidden" : true
 }

1.4、复制集搭建

1.4.1、规划

1）三个以上的mongodb节点（或多实例）

2）多实例：

多个端口：28017、28018、28019、28020
多套目录

1.4.2、多实例搭建过程

1）创建目录

su - mongod
mkdir -p /mongodb/28017/{conf,data,log}
mkdir -p /mongodb/28018/{conf,data,log}
mkdir -p /mongodb/28019/{conf,data,log}
mkdir -p /mongodb/28020/{conf,data,log}

2）准备多套配置文件

cat > /mongodb/28017/conf/mongod.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/28017/log/mongodb.log
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/28017/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
processManagement:
  fork: true
net:
  bindIp: 10.0.0.21,127.0.0.1
  port: 28017
replication:
  oplogSizeMB: 2048
  replSetName: my_repl   #复制集名称
EOF
		

cp  /mongodb/28017/conf/mongod.conf  /mongodb/28018/conf/
cp  /mongodb/28017/conf/mongod.conf  /mongodb/28019/conf/
cp  /mongodb/28017/conf/mongod.conf  /mongodb/28020/conf/

sed ‘s#28017#28018#g‘ /mongodb/28018/conf/mongod.conf -i
sed ‘s#28017#28019#g‘ /mongodb/28019/conf/mongod.conf -i
sed ‘s#28017#28020#g‘ /mongodb/28020/conf/mongod.conf -i

3）启动多实例

mongod -f /mongodb/28017/conf/mongod.conf
mongod -f /mongodb/28018/conf/mongod.conf
mongod -f /mongodb/28019/conf/mongod.conf
mongod -f /mongodb/28020/conf/mongod.conf

#检查端口
[[email protected] ~]$ netstat -lntup|grep mongo
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 127.0.0.1:28017         0.0.0.0:*               LISTEN      3490/mongod         
tcp        0      0 10.0.0.21:28017         0.0.0.0:*               LISTEN      3490/mongod         
tcp        0      0 127.0.0.1:28018         0.0.0.0:*               LISTEN      3519/mongod         
tcp        0      0 10.0.0.21:28018         0.0.0.0:*               LISTEN      3519/mongod         
tcp        0      0 127.0.0.1:28019         0.0.0.0:*               LISTEN      3548/mongod         
tcp        0      0 10.0.0.21:28019         0.0.0.0:*               LISTEN      3548/mongod         
tcp        0      0 127.0.0.1:28020         0.0.0.0:*               LISTEN      3577/mongod         
tcp        0      0 10.0.0.21:28020         0.0.0.0:*               LISTEN      3577/mongod

4）配置复制集（1主2从，2个从库作为普通从库）

配置命令：

mongo --port 28017 admin
config = {_id: ‘my_repl‘, members: [
                          {_id: 0, host: ‘10.0.0.53:28017‘},
                          {_id: 1, host: ‘10.0.0.53:28018‘},
                          {_id: 2, host: ‘10.0.0.53:28019‘}]
          }
rs.initiate(config)		#配置初始化
rs.status();			#查询复制集状态

操作过程：

秒客网