搭建mongodb集群(副本集+分片)

时间:2021-10-31 09:18:49
转载自:http://blog.csdn.net/bluejoe2000/article/details/41323051

完整的搭建mongodb集群(副本集+分片)的例子。。。

准备四台机器,分别是bluejoe1,bluejoe2,bluejoe3,以及bluejoe0

副本集及分片策略确定如下:

  • 将创建3个副本集,命名为shard1,shard2,shard3;
  • 以上3个副本集作为3个分片;
  • 每个副本集包含3个副本(主、辅1、辅2);
  • 副本分开存储,即shard1存在bluejoe1、bluejoe2、bluejoe3上各一份。。。以此类推
  • 将创建3个配置库实例,一台机器一个
  • bluejoe0上配置一个mongos(mongos一般可以配置在应用端)
画了一个图:
 
搭建mongodb集群(副本集+分片)
 
具体操作步骤如下:
  1. 在bluejoe1上下载mongdb安装包;
  2. 解压至/usr/local/mongdb(注意改名);
  3. 创建data/db1,db2,db3目录,启动3个mongod实例,注意replSet的名字:
    1. mkdir /usr/local/mongodb/data/db1 /usr/local/mongodb/data/db2 /usr/local/mongodb/data/db3
    2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db1 --port 10001 --replSet db1 --logpath=/usr/local/mongodb/log/db1.log &
    3. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db2 --port 10002 --replSet db2 --logpath=/usr/local/mongodb/log/db2.log &
    4. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db3 --port 10003 --replSet db3 --logpath=/usr/local/mongodb/log/db3.log &
  4. 使用scp命令,将mongodb目录复制至bluejoe2和bluejoe3机器,并按照第3步启动每台机器上的3个实例;
  5. 初始化副本:
    1. mongo bluejoe1:10001
    2. use admin
    3. db.runCommand(
    4. {
    5. "replSetInitiate":
    6. {
    7. "_id":"db1",
    8. "members":
    9. [
    10. {
    11. "_id":1,
    12. "host":"bluejoe1:10001"
    13. },
    14. {
    15. "_id":2,
    16. "host":"bluejoe2:10001"
    17. },
    18. {
    19. "_id":3,
    20. "host":"bluejoe3:10001"
    21. }
    22. ]
    23. }
    24. })
    25. mongo bluejoe1:10002
    26. use admin
    27. db.runCommand(
    28. {
    29. "replSetInitiate":
    30. {
    31. "_id":"db2",
    32. "members":
    33. [
    34. {
    35. "_id":1,
    36. "host":"bluejoe1:10002"
    37. },
    38. {
    39. "_id":2,
    40. "host":"bluejoe2:10002"
    41. },
    42. {
    43. "_id":3,
    44. "host":"bluejoe3:10002"
    45. }
    46. ]
    47. }
    48. })
    49. mongo bluejoe1:10003
    50. use admin
    51. db.runCommand(
    52. {
    53. "replSetInitiate":
    54. {
    55. "_id":"db3",
    56. "members":
    57. [
    58. {
    59. "_id":1,
    60. "host":"bluejoe1:10003"
    61. },
    62. {
    63. "_id":2,
    64. "host":"bluejoe2:10003"
    65. },
    66. {
    67. "_id":3,
    68. "host":"bluejoe3:10003"
    69. }
    70. ]
    71. }
    72. })
  6. 观察副本集的实时复制特性
    1. 连接上bluejoe1:10001,看到db1:PRIMARY>的字样,说明它是db1的主节点
    2. 创建一张新表,创建几条测试记录
    3. 连接上bluejoe3:10002,看到shard1:SECONDARY>的字样,说明它是shard1的辅助节点
    4. 注意此时无法查询前面新增的记录,会报错not master and slaveOk=false
    5. 回到bluejoe1:10001,设置slaveOk
      1. db.getMongo().setSlaveOk()
    6. 再回到bluejoe3:10002,即可看到主节点写入的记录
  • 观察副本集的故障转移特性
    1. 杀掉bluejoe1:10001的进程
    2. 再次连接上bluejoe3:10002,看到shard1:PRIMARY>的字样,说明它已经变成shard1的主节点
    3. 如果这时再启动bluejoe1:10001,则发现它已经变成shard1:SECONDARY>
  • 创建data/configdb,启动配置库实例:
    1. mkdir /usr/local/mongodb/data/configdb
    2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --port 20000 --logpath=/usr/local/mongodb/log/configdb.log &

    如果需要关闭mongod服务,可使用--shutdown选项,如:

    1. /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --shutdown
     

    到现在为止应该有12个mongd实例,其中3个为配置库实例,剩下的属于3个副本集;

  • 接下来管理分片,在bluejoe0上启动mongs:
    1. nohup /usr/local/mongodb/bin/mongos --port 30000 --configdb bluejoe1:20000,bluejoe2:20000,bluejoe3:20000 &
  • 连接上mongos,配置分片信息:
    1. mongo bluejoe0:30000
    2. mongos> use admin
    3. switched to db admin
    4. db.runCommand({"addShard":"db1/bluejoe1:10001"})
    5. db.runCommand({"addShard":"db2/bluejoe1:10002"})
    6. db.runCommand({"addShard":"db3/bluejoe1:10003"})
  • 查看分片情况:
    1. mongos>  db.runCommand({listshards:1})
    2. {
    3. <span style="white-space:pre">  </span>"shards" : [
    4. <span style="white-space:pre">      </span>{
    5. <span style="white-space:pre">          </span>"_id" : "db1",
    6. <span style="white-space:pre">          </span>"host" : "db1/bluejoe1:10001,bluejoe2:10001,bluejoe3:10001"
    7. <span style="white-space:pre">      </span>},
    8. <span style="white-space:pre">      </span>{
    9. <span style="white-space:pre">          </span>"_id" : "db2",
    10. <span style="white-space:pre">          </span>"host" : "db2/bluejoe1:10002,bluejoe2:10002,bluejoe3:10002"
    11. <span style="white-space:pre">      </span>},
    12. <span style="white-space:pre">      </span>{
    13. <span style="white-space:pre">          </span>"_id" : "db3",
    14. <span style="white-space:pre">          </span>"host" : "db3/bluejoe1:10003,bluejoe2:10003,bluejoe3:10003"
    15. <span style="white-space:pre">      </span>}
    16. <span style="white-space:pre">  </span>],
    17. <span style="white-space:pre">  </span>"ok" : 1
    18. }

    可以看出,尽管注册的时候只是提供了副本集的主节点,但mongos已知晓了各辅助节点;

  • 对某个库开启分片功能:
    1. mongos> db.runCommand({"enablesharding":"test"})
    2. { "ok" : 1 }
    3. mongos> db.runCommand({"shardcollection":"test.person","key":{_id:'hashed'}})
    4. { "collectionsharded" : "test.person", "ok" : 1 }
  • 插入测试数据:
    1. mongos> for(var i=0;i<10;i++){db.person.insert({name:"bluejoe"+i});}
    2. WriteResult({ "nInserted" : 1 })
  • 查看数据分片存储情况:
    1. [root@hadoop0 ~]# mongo bluejoe3:10002
    2. MongoDB shell version: 2.6.5
    3. connecting to: bluejoe3:10002/test
    4. shard1:PRIMARY> db.person.find()
    5. { "_id" : ObjectId("546ff1013a0d0ec68b42a914"), "name" : "bluejoe0" }
    6. { "_id" : ObjectId("546ff1013a0d0ec68b42a915"), "name" : "bluejoe1" }
    7. { "_id" : ObjectId("546ff1013a0d0ec68b42a91a"), "name" : "bluejoe6" }
    8. { "_id" : ObjectId("546ff1013a0d0ec68b42a91b"), "name" : "bluejoe7" }
    9. { "_id" : ObjectId("546ff1013a0d0ec68b42a91c"), "name" : "bluejoe8" }
    10. shard1:PRIMARY> exit
    11. bye
    12. [root@hadoop0 ~]# mongo bluejoe2:10001
    13. MongoDB shell version: 2.6.5
    14. connecting to: bluejoe2:10001/test
    15. shard2:PRIMARY> db.person.find()
    16. { "_id" : ObjectId("546ff1013a0d0ec68b42a918"), "name" : "bluejoe4" }
    17. shard2:PRIMARY> exit
    18. bye
    19. [root@hadoop0 ~]# mongo bluejoe3:10001
    20. MongoDB shell version: 2.6.5
    21. connecting to: bluejoe3:10001/test
    22. shard3:PRIMARY> db.person.find()
    23. { "_id" : ObjectId("546ff1013a0d0ec68b42a916"), "name" : "bluejoe2" }
    24. { "_id" : ObjectId("546ff1013a0d0ec68b42a917"), "name" : "bluejoe3" }
    25. { "_id" : ObjectId("546ff1013a0d0ec68b42a919"), "name" : "bluejoe5" }
    26. { "_id" : ObjectId("546ff1013a0d0ec68b42a91d"), "name" : "bluejoe9" }
    27. shard3:PRIMARY>

搭建mongodb集群(副本集+分片)的更多相关文章

  1. Mongodb分布式集群副本集&plus;分片

    目录 简介 1. 副本集 1.1 MongoDB选举的原理 1.2 复制过程 2. 分片技术 2.1 角色 2.2 分片的片键 2.3 片键分类 环境介绍 1.获取软件包 2.创建路由.配置.分片等的 ...

  2. 搭建高可用mongodb集群—— 副本集

    转自:http://www.lanceyan.com/tech/mongodb/mongodb_repset1.html 在上一篇文章<搭建高可用MongoDB集群(一)——配置MongoDB& ...

  3. MongoDB 高可用集群副本集&plus;分片搭建

    MongoDB 高可用集群搭建 一.架构概况 192.168.150.129192.168.150.130192.168.150.131 参考文档:https://www.cnblogs.com/va ...

  4. MongoDB 3&period;4 分片集群副本集 认证

    连接到router所在的MongoDB Shell  我本机端口设置在50000上 mongo --port 接下来的流程和普通数据库添加用户权限一样 db.createUser({user:&quo ...

  5. MongoDB集群——副本集

    1. 副本集的结构及原理 副本集包括三种节点:主节点.从节点.仲裁节点.主节点负责处理客户端请求,读.写数据, 记录在其上所有操作的oplog: 从节点定期轮询主节点获取这些操作,然后对自己的数据副本 ...

  6. window配置mongodb集群&lpar;副本集&rpar;

    参数解释: dbpath:数据存放目录 logpath:日志存放路径 pidfilepath:进程文件,有利于关闭服务 logappend:以追加的方式记录日志(boolean值) replSet:副 ...

  7. kubernetes上安装MongoDB-3&period;6&period;5集群副本集方式

    一.安装部署: 想直接一步创建集群的小伙伴直接按以下步骤安装(再往后是记录自己出过的错): 1.生成docker镜像: docker build -t 144.202.127.156/library/ ...

  8. mongodb的分布式集群&lpar;4、分片和副本集的结合&rpar;

    概述 前面3篇博客讲了mongodb的分布式和集群,当中第一种的主从复制我们差点儿不用,没有什么意义,剩下的两种,我们不论单独的使用哪一个.都会出现对应的问题.比較好的一种解决方式就是.分片和副本集的 ...

  9. mongo 3&period;4分片集群系列之三:搭建分片集群--哈希分片 &plus; 安全

    这个系列大致想跟大家分享以下篇章: 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建 ...

  10. mongo 3&period;4分片集群系列之二:搭建分片集群--哈希分片

    这个系列大致想跟大家分享以下篇章: 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建 ...

随机推荐

  1. Java Web之Servlet

    Servlet参考文献: 1.http://www.cnblogs.com/luoxn28/p/5460073.html 2.http://www.cnblogs.com/xdp-gacl/p/376 ...

  2. RxJava基本流程和lift源码分析

    1.subscribe过程 2.lift过程

  3. hadoop本地库无法加载

    (1)设置环境变量 export HADOOP_HOME=/your/own/hadoop/home  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME ...

  4. Union大小

    在一个union类型结构中,所有的成员公用同样的存储空间,其占用的大小为其成员中需要空间最大者: union本身只保留一块地址空间,因为只有一个成员真正存储于该地址, 但这块地址也要满足内存对齐原则. ...

  5. Top Android App使用的组件 2

    微信_355 SQLCipher:info.guardianproject.database:Android数据库加密 微博_650 点信传媒:cn.dx:广告平台 Apache HttpClient ...

  6. WPF学习笔记 - 在XAML里绑定

    Binding除了默认构造函数外,还有一个可以传入Path的构造函数,下面两种方式实现的功能是一样的. <TextBlock x:Name="currentFolder" D ...

  7. Tree2cycle

    Problem Description A tree with N nodes and N-1 edges is given. To connect or disconnect one edge, w ...

  8. Bugscan学习笔记------关于urlparse

    urlparse模块主要是把url拆分为6部分,并返回元组.并且可以把拆分后的部分再组成一个url.主要有函数有urljoin.urlsplit.urlunsplit.urlparse等. ***** ...

  9. XCode 7上传遇到ERROR ITMS-90535 Unexpected CFBundleExecutable Key&period; 的解决办法(转)

    原文:http://blog.csdn.net/wxs0124/article/details/48706685 找到腾讯的info.plist 删除箭头指向的一行 重新打包,上传. (注明,不一定是 ...

  10. Windows端口转发

    1. PortTunnel 2. windows 自带的 netsh -----windows下也有一个小工具:portforward.exe,图形界面容易操作,个人平常使用可以,但是也没有办法实现与 ...