反SQL运动的主要倡导者都是Web和
Java开发者,他们中许多人都在创业的初期历经了资金短缺并因此与Oracle
说再见,然后效仿Google 和Amazon的道路建设起自己的数据存储解决方案 ,并随后将自己的成果开源 发布。现在,他们的开源数据商店管理 着成百TB甚至PB的数据,由于Web 2.0和云计算的兴起,无论从技术 上还是从经济上他们都无需再返回从前,甚至连想也不用想。
“Web
2.0的企业应该抓住机会,他们需要可扩展性,”总部设在伦敦的NoSQL会议组织者Johan
Oskarsson说,他任职于著名的音乐网站Last.fm,其他的大多数与会者也都是网络
开发者。
Oskarsson说,许多人甚至抛弃了MySQL
开源数据库这个长期以来Web
2.0的宠儿,而改由NoSQL的方案来替代,因为优势实在是引人注目。51CTO.com之前曾报道过MySQL创始人宣布创建开源数据库联盟的消息,过度的商业化是MySQL失去原来的优势。
例如Facebook建立了自己的Cassandra数据商店并且在其网站上重点推出一项新的搜索功能
,没有使用 到现有的MySQL数据库。据Facebook的工程师Avinash
Lakshma介绍,Cassandra仅用0.12毫秒就可以写入50GB的数据,比MySQL快了超过2500倍。Google也开始公测他们的云数据库Fusion
Tables,这是一个和传统数据库完全不同的数据库,主要优势能够简单的解决关系型数据库中管理不同类型数据麻烦,以及排序 整合的常见操作的性能问题等。
随着互联网
web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如:
1、High performance - 对数据库高并发读写的需求
web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘 IO就已经无法承受了。其实对于普通的BBS网站,往往也存在对高并发写请求的需求。
2、Huge Storage - 对海量数据的高效率存储和访问的需求
对于大型的SNS网站,每天用户产生海量的用户动态,以国外的Friendfeed为例,一个月就达到了2.5亿条用户动态,对于关系数据库来说,在一张2.5亿条记录的表里面进行SQL查询,效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统 ,例如腾讯,盛大,动辄数以亿计的帐号,关系数据库也很难应付。
3、High Scalability && High Availability-
对数据库的高可扩展性和高可用性的需求
在基于web的架构当中,数据库是最难进行横向 扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server 和app server那样简单的通过添加 更多的硬件
和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级 和扩展是非常痛苦的事情,往往需要停机维护和数据迁移,为什么数据库不能 通过不断的添加服务器
节点来实现扩展呢?
在上面提到的“三高”需求面前,关系数据库遇到了难以克服的障碍,而对于web2.0网站来说,关系数据库的很多主要特性却往往无用武之地,例如:
1、数据库事务一致性需求
很多web实时系统并不要求严格的数据库事务,对读一致性的要求很低,有些场合对写一致性要求也不高。因此数据库事务管理成了数据库高负载下一个沉重的负担。
2、数据库的写实时性和读实时性需求
对关系数据库来说,插入一条数据之后立刻查询,是肯定可以读出来这条数据的,但是对于很多web应用来说,并不要求这么高的实时性。
3、对复杂的SQL查询,特别是多表关联查询的需求
任何大数据量的web系统,都非常忌讳多个大表的关联查询,以及复杂的数据分析类型的复杂SQL报表查询,特别是SNS类型的网站,从需求以及产品设计角度,就避免了这种情况的产生。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL的功能被极大的弱化了。
因此,关系数据库在这些越来越多的应用场景下显得不那么合适了,为了解决这类问题的非关系数据库应运而生,现在这两年,各种各样非关系数据库,特别是键值数据库(Key-Value Store DB)风起云涌,多得让人眼花缭乱。前不久国外刚刚举办了NoSQL Conference,各路NoSQL数据库纷纷亮相,加上未亮相但是名声在外的,起码有超过10个开源的NoSQLDB,例如:
Redis,Tokyo Cabinet,Cassandra,Voldemort,MongoDB,Dynomite,HBase,CouchDB,Hypertable, Riak,Tin, Flare, Lightcloud, KiokuDB,Scalaris, Kai, ThruDB, ......
这些NoSQL数据库,有的是用C/C++编写的,有的是用Java编写的,还有的是用Erlang编写的,每个都有自己的独到之处。
NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与ACID理论大一统的局面。NoSQL
数据存储不需要固定的表结构
,通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语 在
2009 年初得到了广泛认同。
的BigTable与Amazon的Dynamo是非常成功的商业 NoSQL 实现。一些开源的 NoSQL 体系,如Facebook
的Cassandra, Apache
的HBase,也得到了广泛认同。从这些NoSQL项目的名字上看不出什么相同之处:Hadoop、Voldemort、Dynomite,还有其它很多。
如果您刚接触
NoSQL,那有必要学习一些背景知识。下列资料是国外一前沿技术分析师 认为非常有价值的
NoSQL 相关必读资料:
-
IE R5bmFtbyDorrrmloc="
href="http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf">Amazon
Dynamo 论文 。几乎所有懂 NoSQL 的人都阅读过它。 - Google
的 html">Bigtable 论文 。 也许您已经耳熟能详。 - Werner
Vogels 的 “Eventually Consistent” (发布于 ACM Queue
)。如果您对“最终一致性 ”不是非常清晰,请阅读这篇文章。 - Brewer
的 CAP 理论 (可伸缩性的基础)在这里
可以找到非常好的诠释。也可以看看 2000 7 月 PODC 上 Brewer的原始幻灯片 。 - sql -debrief.html">在 2009 年 6 月在 SFO 的 NoSQL
见面会的幻灯片 。这些资料可以用经典的、关键的、将影响巨大的、值得纪念的来形容。 - SQL Databases Don't Scale
是一篇简短、基础、直切问题的文章。除非您是一位在伸缩性问题 上身经百战的数据库管理员 ,否则,这篇文章讲述的内容对于您可能是非常关键的。 - Jonathan Ellis 的文章 NoSQL Ecosystem
以表格的方式对当今主流的分布式数据库 做了比较。类似的比较还有 Quick Reference to Alternative data storages
。Ellis 的文章除了表格对比外对于想了解 NoSQL 生态的人来说是非常值得一读的,该文章内涵丰富,短小精悍;而 Quick Reference to Alternative data storages
主要是表格,这些表格对比的内容又比 Ellis 的完整。
相关国外资源
http://nosql-databases.org ——
该站点的标语是:“非关系型世界的终结向导!”,该站点非常确信自己是:“在互联网上拥有 NoSQL 相关链接最多的网站。”总之,该网站值得关注。
另外,作为 NoSQL 极客(geeks),请 follow @nosqlupdate
。另外,请 follow @al3xandru (MyNoSQL blog 与 NoSQL
Week in Review 的创建者)。NoSQL Week in
Review 比较新,希望能保持正常更新,因为它确实很棒!
当然,您还可以看看 Ricky Ho
最近的博文,他总结了一些分布式数据存储技术关键点。他的博文中有两篇非常值得一看的文章:Query
Processing for NoSQL Databases ,还有 NoSQL
Design Patterns 。
相关国内资源
- Tim[后端技术] :分布式 Key Value Store
漫谈 - **** 新闻频道 :豆瓣开源 Key Value 存储系统
BeansDB - robbin的自言自语 :NoSQL数据库探讨之一