笔者经验尚浅,对于NOSql也是2014年初才正式接触,并且很遗憾的是,接触也只是自我学习为主,还未真正涉及到项目运用中。所以这里标题也用到了浅析二字。如有大牛接触过,且有幸被搜索引擎抓到,还请大牛不吝赐教或指点一二。
1.在NoSql领域中其实存在很多解决方案。除去Mongodb 还有 HBase、memcacheDB、neo4J等,但是这几种的设计模式各有千秋,也就是实现方式有所不同。如:Key-value、列存储、文档储存、图存储、对象存储、xml存储等,说白了就是存储的数据模型不同,但是其实都是NoSql的实现。
2.接触较多以及较为广泛的、或者是说较为人知的一个NoSql:mongodb,曾记得是一个南京的朋友向我提起过。我这人有个毛病就是如果别人说的技术我不会,我总会记录下来,然后不停的利用搜索引擎去需求讲解以及demo。当然这些也只能暂时停留在基础认知方面,对于真实在实际生产中是如何应用的,或者是在整体项目架构中其到底扮演什么角色还是难以明白,以及NoSql对于目前的关系数据库有哪些优点和不足还是不清楚。
3.其实笔者事先在网上也查了很多关于此方面的资料(mongodb 与 Mysql 的比较),并且通过实验也大概明白了或者说基本懂了mongodb的优势以及应用场景,所以笔者为了记录自己学习mongodb的过程要求自己写下博客作为记录。
4.网上有篇博文明确的给出了mongodb和mysql 在插入查询以及更新性能上做了比较:
http://blog.csdn.net/e421083458/article/details/8849247
大家可以去看看,上面说mongodb在速度上是mysql的2倍,其实正如大多数人来说2倍好像有点少了,的确其实我也感觉才2倍,虽然随着数据量的越来越大 速度的倍数肯定会增加,但是、、、、。因此自己还是需要自己亲身做一下实验。
编程工具:eclipse
语言:java 6.0
数据库:Mysql 5.1
NoSql:mongoDb win32-i386-2.6.1
驱动 Jar包:mongo-2.10.1.jar mysql-connector-java-5.1.6-bin.jar
测试1【单条插入】
测试2【100条插入-一个连接】
测试3【1000条插入-一个连接】
测试4【1000条插入-一个连接 mysql采取JDBC批量操作】
测试5【100万条插入-一个连接 mysql采取JDBC批量操作】
以上数据我就不分析了。可想而知如果100万条数据 如果我不用批量操作 那么那将有多慢啊!!!!!!
其实在web的应用场景下,并发问题就是同时多个数据库连接来对数据库进行操作,但是这些数据并不可以使用批量操作这样的场景来处理。
所以高并发其实类似于jdbc的 for循环单个插入提交一样,而且速度会更慢。如果是这样的话,那么这种情况 mongodb的效率就是很高的,而且面临高并发基本上没有什么压力。
数据库模式:用户建立连接-数据库引擎接受-数据库引擎解析sql语法-映射数据模型以及关系-建模并IO插入数据库存储文件
NoSql模式:用户建立连接-NoSql引擎接受-建模IO插入文件
其实我们可以认为 NoSql速度上比关系数据库快 在于 数据库引擎解析sql语法-映射数据模型以及关系- 时间都花在这些上面,当然这只是概念的说明一下,其实关系数据库插入一条数据要比这个复杂的多,也包括事务、索性、检查等一系列操作。
其实我们可以发现在 jdbc批量插入的原理是 将sql语句初始化好-然后将多条插入语句一并提交到数据库-数据库统一解析,最终入库 然后返回用户结果。所以批量操作节约的时间在于 发送sql 数据库引擎接受 以及返回结果这样的时间。所以数据在传送到数据库的过程中相当耗时以及在数据中数据插入的一个整体流程中。(跑题了)
那么我们知道了这些 ,我们可以分析一下Nosql的应用场景了。
mongo使用场合
mongodb的主要目标是在键/值存储方式(提供了高性能和高度伸缩性)以及传统的RDBMS系统(丰富的功能)架起一座桥梁,集两者的优势于一身。mongo适用于以下场景:
1.网站数据:mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。
2.缓存:由于性能很高,mongo也适合作为信息基础设施的缓存层。在系统重启之后,由mongo搭建的持久化缓存可以避免下层的数据源过载。
3.大尺寸、低价值的数据:使用传统的关系数据库存储一些数据时可能会比较贵,在此之前,很多程序员往往会选择传统的文件进行存储。
4.高伸缩性的场景:mongo非常适合由数十或者数百台服务器组成的数据库。
5.用于对象及JSON数据的存储:mongo的BSON数据格式非常适合文档格式化的存储及查询。
6.重要数据:mysql,一般数据:mongodb,临时数据:memcache
7.对于关系数据表而言,mongodb是提供了一个更快速的视图view;而对于PHP程序而言,mongodb可以作为一个持久化的数组来使用,并且这个持久化的数组还可以支持排序、条件、限制等功能。
8.将mongodb代替mysql的部分功能,主要一个思考点就是:把mongodb当作mysql的一个view(视图),view是将表数据整合成业务数据的关键。比如说对原始数据进行报表,那么就要先把原始数据统计后生成view,在对view进行查询和报表。从这个意义上,mongodb提供了一个更快速,更使用的view
不适合的场景:
a.高度事物性的系统:例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。
b.传统的商业智能应用:针对特定问题的BI数据库会对产生高度优化的查询方式。对于此类应用,数据仓库可能是更合适的选择。
c.需要SQL的问题
D.重要数据,关系数据
这里需要注意的是:在实际项目中为了减小开销传统关系数据库在web开发中 会采取连接池的方式 提高效率,而在mongodb中mongo实例化其实就是一个连接,默认貌似是10个,高并发会采取队列的方式等待 线程安全,当然去生产环境肯定是需要配置的,否则会发生问题,且下载的mongo 32位的 默认存储只是2个G左右(官方有详细说明),后续增加就会报错。(http://blog.csdn.net/aegoose/article/details/22396243)
~~~~仅供参考 后续将对mongodb分布式进行研究,也就是多个mongodb分布式方案,目的进一步提高效率
以及会对各大型网站架构中mongodb所扮演的角色进行分析,从而定位大型项目中的角色。
转载于:http://blog.csdn.net/xwygn/article/details/38468275