《唐三学node.js系列》—魂士篇&&三哥初始node.js

前言

如果你有一定的前端基础，比如 HTML、CSS、JavaScript、jQuery。那么Node.js 能让你以最低的成本快速过渡成为一个全栈工程师(我称这个全栈为伪全栈，我认为的全栈也要精通数据库，不喜勿喷)，从而触及后端和移动端的开发。当然，Node.js也不是万能的、也不是说学了它就可以完全取代后端的其他开发语言，它有自己的使命和擅长的应用领域。

除此之外现在非常火热的 Vue.js，React.js ，等很多数据层动态交互优先选用了Node.js，一些比较流行的打包工具也是如此。综上所述，你为什么要学习它又增加了一大理由。

Node.js 和传统的后端语言（比如PHP、JAVA，Python等）相比，各有优缺点，各自擅长领域和侧重点不同，因此，各有千秋、各有需求市场。Node.js 让我们进行后端开发多了一种便捷的手段。所以大家也不要总说哪些语言是最好的，各有各的使命，嘿嘿。

Node.js介绍

• Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型
• Node.js 是一个让 JavaScript 运行在服务端的开发平台，它让 JavaScript 成为与PHP、Python、Perl、Ruby 等服务端语言平起平坐的脚本语言，发布于2009年5月，由Ryan Dahl开发，实质是对Chrome V8引擎进行了封装
• Node.js对一些特殊用例进行优化，提供替代的API，使得V8在非浏览器环境下运行得更好。V8引擎执行Javascript的速度非常快，性能非常好。Node.js是一个基于Chrome JavaScript运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动， 非阻塞I/O 模型而得以轻量和高效，非常适合在分布式设备上运行数据密集型的实时应用

1.1. 谁在用Node.js?

从Node.js官方网站的企业登记页(https://github.com/joyent/node/wiki/Projects,-Applications,-and-Companies-Using-Node)，包括我们熟知的公司有LinkedIn, Yahoo, Paypal, eBay, Walmart，Groupon 还有很多的中小型公司，国内的公司如雪球、淘宝、网易、百度等也都有很多项目运行在Node.js之上。

这些公司不仅是尝试在用，而且都在向Node.js迁移。截止到2014年6月，已经有79693包在npm.org上面发布，而且这个数字还在快速增长中。那么接下来，大家肯定都会问为什么要使用Node.js呢？

1.2. 为什么要使用Node.js?

• Node.js是基于Javascript语言的，不用再单独新学一门陌生的语言，从而减低了学习的门槛。同时，Javascript语言在Web前端开发中至关重要，特别HTML5的应用必须要使用，所以前后台统一语言，不仅可以实现程序员的全栈开发(伪全栈)，还可以统一公共类库，代码标准化。单凭这一点，Node.js就已经赢得市场的青睐了。
• Node.js并没有重新开发运行时环境，而是选择了目前最快的浏览器内核V8做为执行引擎，保证了Node.js的性能和稳定性。
• Node.js的开发非常高效，而且代码简单，得益于Node.js的单线程机制。而Node.js的另一个特点异步编程，让Node.js处理IO密集型应用有了明显的优势。个人感觉，用Node.js比Java做Web开发要高效10倍，比PHP的代码还要简单。
• 4. Node.js的社区在壮大，不仅包的数量在快速增加，而且包的质量也要明显好于其他语言的。很多比较出色的包，都是简单而灵巧的，为了开发者的使用习惯而设计。常用到的工具包，如socket.io, moment.js, underscore.js, async.js, express.js, bower.js, grunt.js, forever.js等等。

当然，很多公司也都有自己的使用理由。ebay选择Nodejs的理由，可以归纳为以下4点：

• 动态语言：开发效率非常高，并有能力构建复杂系统，如ql.io。
• 性能和I/O负载：Node.js非常好的解决了IO密集的问题，通过异步IO来实现。
• 连接的内存开销：每个Node.js进程可以支持超过12万活跃的连接，每个连接消耗大约2K的内存。
• 操作性：实现了Node.js对于内存堆栈的监控系统。

1.3. Node.js不适合的领域

每一种语言或平台都有不擅长领域，对于Node.js来说最不擅长的领域在于CPU和内存的编程操作。

• 1. 计算密集型应用，让Javascript和C去拼计算性能，估计是不可能赢的。
• 2. 内存控制，让Javascript和Java比较复杂数据类型定义，也是很困难的。因为Javascript的面向对象是基于JSON的，而Java是直接使用内存结构。所以，通过JSON序列化和反序列的过程控制内存，Javascript就已经输了。
• 3. 大内存的应用，由于V8引擎有内存设计的限制，32位环境中最大堆是1G，64位环境中最大堆也不到2G，如果要一次读入10G数据，对于Node.js来说也无法实现。
• 4. 静态服务器，虽然Node.js的优势在IO密集集应用，但是和Nginx的处理静态资源还是有很大的差距。
• 5. 不需要异步的应用：比如系统管理，自行化脚本等，还是Python更顺手，Node.js的异步调用可能会给编程带来一些麻烦。

Node.js的特点

非阻塞异步IO

例如，当在访问数据库取得数据的时候，需要一段时间。在传统的单线程处理机制中，在执行了访问数据库代码之后，整个线程都将暂停下来，等待数据库返回结果，才能执行后面的代码。也就是说，I/O阻塞了代码的执行，极大地降低了程序的执行效率。

由于 Node.js 中采用了非阻塞型I/O机制，因此在执行了访问数据库的代码之后，将立即转而执行其后面的代码，把数据库返回结果的处理代码放在回调函数中，从而提高了程序的执行效率。

当某个I/O执行完毕时，将以事件的形式通知执行I/O操作的线程，线程执行这个事件的回调函数。为了处理异步I/O，线程必须有事件循环，不断的检查有没有未处理的事件，依次予以处理。

阻塞模式下，一个线程只能处理一项任务，要想提高吞吐量必须通过多线程。而非阻塞模式下，一个线程永远在执行计算操作，这个线程的CPU核心利用率永远是100%。所以，这是一种特别有哲理的解决方案：与其人多，但是好多人闲着；还不如一个人玩命，往死里干活儿。

单线程

在 Java、PHP 或者 .net 等服务器端语言中，会为每一个客户端连接创建一个新的线程。而每个线程需要耗费大约2MB内存。也就是说，理论上，一个8GB内存的服务器可以同时连接的最大用户数为4000个左右。要让Web应用程序支持更多的用户，就需要增加服务器的数量，而 Web 应用程序的硬件成本当然就上升了。

Node.js不为每个客户连接创建一个新的线程，而仅仅使用一个线程。当有用户连接了，就触发一个内部事件，通过非阻塞I/O、事件驱动机制，让 Node.js 程序宏观上也是并行的。使用 Node.js ，一个8GB内存的服务器，可以同时处理超过4万用户的连接。

另外，单线程带来的好处，操作系统完全不再有线程创建、销毁的时间开销。但是单线程也有很多弊端，会在 Node.js 的弊端详细讲解，请继续看。

事件驱动

在 Node.js 中，客户端请求建立连接，提交数据等行为，会触发相应的事件。在 Node.js 中，在一个时刻，只能执行一个事件回调函数，但是在执行一个事件回调函数的中途，又有其他事件产生，可以转而处理其他事件（比如，又有新用户连接了），然后返回继续执行原事件的回调函数，这种处理机制，称为“事件环”机制。

Node.js 底层是 C++（V8也是C++写的）。底层代码中，近半数都用于事件队列、回调函数队列的构建。用事件驱动来完成服务器的任务调度，这是鬼才才能想到的。针尖上的舞蹈，用一个线程，担负起了处理非常多的任务的使命。

注意这里的事件循环，也可以说是 Node.js 的一个精髓所在，下面引用一段 Node.js 官网的内容

   ┌───────────────────────────┐
┌─>│           timers          │
│  └─────────────┬─────────────┘
│  ┌─────────────┴─────────────┐
│  │     pending callbacks     │
│  └─────────────┬─────────────┘
│  ┌─────────────┴─────────────┐
│  │       idle, prepare       │
│  └─────────────┬─────────────┘      ┌───────────────┐
│  ┌─────────────┴─────────────┐      │   incoming:   │
│  │           poll            │<─────┤  connections, │
│  └─────────────┬─────────────┘      │   data, etc.  │
│  ┌─────────────┴─────────────┐      └───────────────┘
│  │           check           │
│  └─────────────┬─────────────┘
│  ┌─────────────┴─────────────┐
└──┤      close callbacks      │
   └───────────────────────────┘

引用Node官网中的一段内容:

注意：每个框将被称为事件循环的“阶段”。
每个阶段都有一个要执行的回调FIFO队列。虽然每个阶段都以其自己的方式特殊，但通常情况下，当事件循环进入给定阶段时，它将执行特定于该阶段的任何操作，然后在该阶段的队列中执行回调，直到队列耗尽或最大回调数量为止已执行。当队列耗尽或达到回调限制时，事件循环将移至下一阶段，依此类推。

跨平台

起初，Node 只能在 Linux 平台上运行。后来随着 Node的发展，微软注意到了它的存在，并投入了一个团队帮助 Node 实现 Windows 平台的兼容，在v0.6.0版本发布时，Node 已经能够直接在 Window 平台运行了。 Node 是基于libuv实现跨平台的。

Node.js的弊端

Node.js中有一个特点就是单线程，它带来了很多好处，但是它也有弊端，单线程弱点如下:

• 无法利用多核CPU
• 错误会引起整个应用退出无法继续调用异步I/O
• 大量计算占用CPU导致无法继续调用异步I/O

弊端1的解决方案:

• （1）一些管理工具比如pm2，forever 等都可以实现创建多进程解决多核 CUP 的利用率问题
• （2）在v0.8版本之前，实现多进程可以使用child_process
• （3）在v0.8版本之后，可以使用cluster模块，通过主从模式，创建多个工作进程解决多核CPU的利用率问题

弊端2的解决方案：

• （1）Nnigx反向代理，负载均衡，开多个进程，绑定多个端口
• （2） 一些管理工具比如pm2，forever 等都可以实现进程监控，错误自动重启等
• （3）开多个进程监听同一个端口，使用Node提供的cluster模块
• （4）未出现cluster之前，也可以使用child_process,创建多子线程监听一个端口
• （5）这里说明下，有上面的这些解决方案，但是写node后端代码的时候，异常抛出try catch显得格外有必要

弊端3的解决方案:

• （1）可以把大量的密集计算像上面一样拆分成多个子线程计算
• （2）但是如果不允许拆分，想计算100万的大数据，在一个单线程中，Node确实显得无能为力，这本身就是V8内存限制的弊端

15个Nodejs应用场景

我们已经对Nodejs有了初步的了解，接下来看看Nodejs的应用场景

2.1 Web开发：Express + EJS + Mongoose/MySQL

express 是轻量灵活的Nodejs Web应用框架，它可以快速地搭建网站。Express框架建立在Nodejs内置的Http模块上，并对Http模块再包装，从而实际Web请求处理的功能。

ejs是一个嵌入的Javascript模板引擎，通过编译生成HTML的代码。

mongoose 是MongoDB的对象模型工具，通过Mongoose框架，可以进行访问MongoDB的操作。

mysql 是连接MySQL数据库的通信API，可以进行访问MySQL的操作。

通常用Nodejs做Web开发，需要3个框架配合使用，就像Java中的SSH。

2.2 REST开发：Restify

restify 是一个基于Nodejs的REST应用框架，支持服务器端和客户端。restify比起express更专注于REST服务，去掉了express中的template, render等功能，同时强化了REST协议使用，版本化支持，HTTP的异常处理。

2.3 Web聊天室(IM)：Express + Socket.io

socket.io一个是基于Nodejs架构体系的，支持websocket的协议用于时时通信的一个软件包。socket.io 给跨浏览器构建实时应用提供了完整的封装，socket.io完全由javascript实现。

2.4 Web爬虫：Cheerio/Request

cheerio 是一个为服务器特别定制的，快速、灵活、封装jQuery核心功能工具包。Cheerio包括了 jQuery核心的子集，从jQuery库中去除了所有DOM不一致性和浏览器不兼容的部分，揭示了它真正优雅的API。Cheerio工作在一个非常简单，一致的DOM模型之上，解析、操作、渲染都变得难以置信的高效。基础的端到端的基准测试显示Cheerio大约比JSDOM快八倍(8x)。Cheerio封装了@FB55兼容的htmlparser，几乎能够解析任何的 HTML 和 XML document。

2.5 Web博客：Hexo

Hexo 是一个简单地、轻量地、基于Node的一个静态博客框架。通过Hexo我们可以快速创建自己的博客，仅需要几条命令就可以完成。

发布时，Hexo可以部署在自己的Node服务器上面，也可以部署github上面。对于个人用户来说，部署在github上好处颇多，不仅可以省去服务器的成本，还可以减少各种系统运维的麻烦事(系统管理、备份、网络)。所以，基于github的个人站点，正在开始流行起来….

2.6 Web论坛: nodeclub

Node Club 是用 Node.js 和 MongoDB 开发的新型社区软件，界面优雅，功能丰富，小巧迅速， 已在Node.js 中文技术社区 CNode 得到应用，但你完全可以用它搭建自己的社区。

2.7 Web幻灯片：Cleaver

Cleaver 可以生成基于Markdown的演示文稿。如果你已经有了一个Markdown的文档，30秒就可以制作成幻灯片。Cleaver是为Hacker准备的工具。

2.8 前端包管理平台: bower.js

Bower 是 twitter 推出的一款包管理工具，基于nodejs的模块化思想，把功能分散到各个模块中，让模块和模块之间存在联系，通过 Bower 来管理模块间的这种联系。

2.9 OAuth认证：Passport

Passport项目是一个基于Nodejs的认证中间件。Passport目的只是为了“登陆认证”，因此，代码干净，易维护，可以方便地集成到其他的应用中。Web应用一般有2种登陆认证的形式：用户名和密码认证登陆,OAuth认证登陆。Passport可以根据应用程序的特点，配置不同的认证机制。本文将介绍，用户名和密码的认证登陆。

2.10 定时任务工具: later

Later 是一个基于Nodejs的工具库，用最简单的方式执行定时任务。Later可以运行在Node和浏览器中。

2.11 浏览器环境工具: browserify

Browserify 的出现可以让Nodejs模块跑在浏览器中，用require()的语法格式来组织前端的代码，加载npm的模块。在浏览器中，调用browserify编译后的代码，同样写在<script>标签中。

用 Browserify 的操作，分为3个步骤。1. 写node程序或者模块, 2. 用Browserify 预编译成 bundle.js, 3. 在HTML页面中加载bundle.js。

2.12 命令行编程工具：Commander

commander 是一个轻巧的nodejs模块，提供了用户命令行输入和参数解析强大功能。commander源自一个同名的Ruby项目。commander的特性：自记录代码,自动生成帮助,合并短参数（“ABC”==“-A-B-C”）,默认选项,强制选项​​,命令解析,提示符。

2.13 Web控制台工具: tty.js

tty.js 是一个支持在浏览器中运行的命令行窗口，基于node.js平台，依赖socket.io库，通过websocket与Linux系统通信。特性：支持多tab窗口模型; 支持vim,mc,irssi,vifm语法; 支持xterm鼠标事件; 支持265色显示; 支持session。

2.14 客户端应用工具: node-webkit

Node-Webkit 是NodeJS与WebKit技术的融合，提供一个跨Windows、Linux平台的客户端应用开发的底层框架，利用流行的Web技术（Node.JS，JavaScript，HTML5）来编写应用程序的平台。应用程序开发人员可以轻松的利用Web技术来实现各种应用程序。Node-Webkit性能和特色已经让它成为当今世界领先的Web技术应用程序平台。

2.15 操作系统: node-os

NodeOS 是采用NodeJS开发的一款友好的操作系统，该操作系统是完全建立在Linux内核之上的，并且采用shell和NPM进行包管理，采用NodeJS不仅可以很好地进行包管理，还可以很好的管理脚本、接口等。目前，Docker和Vagrant都是采用NodeOS的首个版本进行构建的。

哪些大公司在用

• 雅虎：雅虎开放了Cooktail框架，将YUI3这个前端框架的能力借助Node延伸到了服务器端。
• 腾讯：将Node应用到长连接，以提供实时功能。
• 花瓣网，蘑菇街：通过socket.io实现实时通知。
• 阿里：主要利用的是并行I/O这个性能，实现高效的分布式，它们自己也出了很多Node框架
• LinkedIn：移动网站也是使用的Node
• 网易：游戏领域对并发和实时要求很高，网易开源了Node的实时框架pomelo

Node.js学习资料(全网最全)

文档

• Node.js 官方文档：http://nodejs.org/api/
• Node.js 中文文档：http://nodeapi.ucdok.com/
• Express 官方文档：http://expressjs.com/
• Express 中文文档：http://expressjs.jser.us/
• Jade 官方文档：http://jade-lang.com/
• EJS 文档：http://www.embeddedjs.com/

包管理

• NPM：https://www.npmjs.org/ (官方)
• CNPM：http://cnpmjs.org/、http://npm.taobao.org/ (淘宝)

数据库

• MongoDB：https://www.mongodb.com/
  • Mongoose：http://mongoosejs.com/
  • Mongoskin：node-mongoskin、Mongoskin Tutorial with Examples
  • Mongolab(500MB免费数据库)：https://mongolab.com/
• MySQL：https://github.com/felixge/node-mysql

Node.js相关框架

• http://clouda.com/ (Clouda+，移动 web 应用开发整体解决方案)
• http://sailsjs.org/#/ (Realtime MVC)
• http://pomelo.netease.com/ （Fast, scalable, distributed game server framework）
• https://github.com/newghost/ourjs (OurJs，基于Node的开源博客引擎)
• https://github.com/eggjs/egg (eggjs,为企业级框架和应用而生)

Node.js热门包

• Grunt：http://gruntjs.com/ （英文）、http://gruntjs.cn/（中文）
• Gulp：http://gulpjs.com/
• Yeoman：http://yeoman.io/
• Socket.io：http://socket.io/
• mocha：https://mochajs.org/
• uglifyjs：https://github.com/mishoo/UglifyJS2
• shelljs：http://documentup.com/arturadib/shelljs

Node.js开发调试

• debug：https://github.com/visionmedia/debug
• node-inspector：https://github.com/node-inspector/node-inspector

Node.js 中文资料

• Node.js 教程
• NodeSchool
• 七天学会 Node.js
• Node 入门
• Node.js 中文资料导航
• Node.js 包教不包会
• 菜鸟教程：https://www.runoob.com/nodejs...
• git上优秀的文章：https://github.com/wangfupeng1988/node-tutorial

Node.js文章

• 深入浅出 Node.js 专栏
• 从零开始 nodejs 系列文章
• 使用 nodejs 和 mongodb 开发 WebApp （英文）
• 给 Node.js 新手的7条小建议

Node.js 书籍

• 《深入浅出 Node.js》
• 《了不起的 Node.js》
• 《node.js入门经典》
• 《node.js开发指南》

Node.js活跃社区

• Node.js中文网：http://www.nodejs.net/
• cnodejs：http://cnodejs.org/
• nodejsbbs：http://nodejsbbs.com/forum.php

Node.js开源作品

• N-blog 从零搭建nodejs多人博客

更多资料

• Awesome Node.js
• Node.js的学习资源、教程和工具

参考资料：

https://github.com/cllgeek/nodejsResource

https://segmentfault.com/a/1190000019854308