1.3 Nginx性能优化
1.3.1 优化nginx worker进行个数
nginx服务主要有两个重要进程:
01) master进程:可以控制nginx服务的启动 停止 或重启
02) worker进程:处理用户请求信息,帮助用户向后端服务进行请求(php mysql)
添加worker进程方法
vim nginx.conf
worker_processes 1; # 修改nginx配置文件中worker_processes指令后面的数值
建议:worker进程数量=等于CPU的核数 worker进程数量=等于CPU的核数*2
如何在一个系统中获悉CPU核心是多少?
①. 利用top命令--按数字1,获取到CPU核数信息
②. grep processor /proc/cpuinfo|wc -l
③. lscpu
查看cpu核心数命令示例
示例一
[root@web01 ~]# top # 按数字1
top - 03:22:48 up 9 days, 26 min, 4 users, load average: 1.06, 0.99, 0.92
Tasks: 107 total, 1 running, 106 sleeping, 0 stopped, 0 zombie
Cpu0 : 0.2%us, 0.6%sy, 0.0%ni, 99.0%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu1 : 0.1%us, 0.1%sy, 0.0%ni, 99.1%id, 0.7%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 485984k total, 452536k used, 33448k free, 24984k buffers
Swap: 786428k total, 5912k used, 780516k free, 242048k cached
示例二
[root@web01 ~]# lscpu |grep CPU
CPU op-mode(s): 32-bit, 64-bit
CPU(s): 2
示例三
[root@web01 ~]# grep processor /proc/cpuinfo
processor : 0
processor : 1
1.3.2 绑定不同的nginx进程到不同的CPU上
4个worker进程分配CPU资源方法:
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
8个worker进程分配CPU资源方法;
worker_processes 8;
worker_cpu_affinity 0001 0010 0100 1000 0001 0010 0100 1000; # 分配8进程方法
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
4个worker进程分配CPU资源方法:
worker_processes 4;
worker_cpu_affinity 0101 1010; # 将进程分配到两颗CPU上
1.3.3 优化nginx事件处理模型
官方配置参数说明:http://nginx.org/en/docs/ngx_core_module.html#use
Syntax: use method;
Default: —
Context: events
关于事件处理模型可以参考:https://clsn.cnblogs.com/p/7750615.html#auto_id_10
举例配置:
user www www;
worker_processes 1;
events {
worker_connections 1024;
use epoll; --- 指定使用的模型为epoll
}
1.3.4 调整nginx单个进程允许的客户端最大连接数
查看nginx当前的打开文件数
[root@clsn ~]# lsof -i:80
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nginx 10422 root 6u IPv4 11868856 0t0 TCP *:http (LISTEN)
nginx 10424 www 6u IPv4 11868856 0t0 TCP *:http (LISTEN)
nginx 10425 www 6u IPv4 11868856 0t0 TCP *:http
修改最大连接数方法
vim nginx.conf
events #<==events指令是设定Nginx的工作模式及连接数上限
{
worker_connections 1024;
}
说 明:此数值设置不要超过系统最大打开文件数量。
1.3.5 配置Nginx worker进程最大打开文件数
举例配置:
[root@web02 conf]# cat nginx.conf
user www www;
worker_processes 1;
worker_rlimit_nofile 2048; # 设置worker进程打开文件数
1.3.6 优化nginx高效文件传输模式
sendfile参数的官方说明如下:
syntax:sendfile on | off; #<==参数语法
default:sendfile off; #<==参数默认大小
context:http,server,location,if in location #<==可以放置的标签段
说明:在系统内核中,利用零拷贝方式实现数据传输
实现高效数据传输的两种方式
第一种方式:tcp_nopush
syntax: tcp_nopush on | off; #<==参数语法
default: tcp_nopush off; #<==参数默认大小
context: http,server,location #<==可以放置的标签段
说明:将数据包积攒到一定量时再进行传输
参数作用:
激活或禁用Linux上的TCP_NODELAY选项。这个参数启用只在连接传输进入到 keep-alive状态。TCP_NODELAY和TCP_CORK基本上控制了包的"Nagle化",Nagle化在这里 的含义是采用Nagle算法把较小的包组装为更大的帧。John Nagle是Nagle算法的发明人,后者就是用他的名字来命名的。
此算法解决的问题就是所谓的silly window syndrome,中文称"愚蠢窗口症候群",具体含义是,因为普遍终端应用程序每产生一次击键操作就会发送一个包,很轻易地就能令网络发生拥塞,Nagle化后来成了一种标准并且立即在因特网上得以实现。它现在已经成为缺省配置了,但在我们看来,有些场合下希望发送小块数据,把这一选项关掉也是合乎需要的。
第二种方式:tcp_nodelay
Syntax: tcp_nodelay on | off;
Default: tcp_nodelay on;
Context: http, server, location
说明:只要有数据包产生,不管大小多少,就尽快传输
参数作用:
激活或禁用Linux上的TCP_CORK socket选项,tcp_cork是linux下tcp/ip传输的一个标准了,这个标准的大概的意思是,一般情况下,在tcp交互的过程中,当应用程序接收到数据包后马上传送出去,不等待,而tcp_cork选项是数据包不会马上传送出去,等到数据包最大时,一次性的传输出去,这样有助于解决网络堵塞,已经是默认了。
此选项仅仅当开启sendfile时才生效, 激活这个.tcp_nopush参数可以允许把http response header和响应数据文件的开始部分放在一个文件里发布,其积极的作用是减少网络报文段的数量。
强调:两个指令是相悖的,请选择其一开启,不要同时开启;
默认采用tcp_nodelay方式进行传输。
1.3.7 设置nginx服务超时参数
Nginx连接超时的参数设置
1) 设置参数: keepalive_timeout 60; # 长连接才有意义
keepalive_timeout参数的官方说明如下:
syntax:keepalive_timeout timeout [header_timeout];#<==参数语法
default:keepalive_timeout 75s;#<==参数默认大小
context:http,server,location #<==可以放置的标签段
说明:客户端和服务端都没有数据传输时,进行超时时间倒计时,一旦超时时间读取完毕还没有数据传输,就断开连接
2) 设置参数:client_header_timeout 55;
syntax:client_header_timeout time; #<==参数语法
default:client_header_timeout 60s; #<==参数默认大小
context:http,server #<==可以放置的标签段
说明:表示定义客户端请求报文发送的间隔超时时间,客户端发送的请求报文中请求头信息的间隔时间
3)设置参数:client_body_timeout 55;
syntax:client_body_timeout time; #<==参数语法
default:client_body_timeout 60s; #<==默认值是60秒
context:http,server,location #<==可以放置的标签段
说明:表示定义服务端响应报文发送的间隔超时时间,客户端发送的请求报文中请求主体信息的间隔时间
4)设置参数:send_timeout 60s
syntax:send_timeout time; #<==参数语法
default:send_timeout 60s; #<==默认值是60秒
context:http,server,location #<==可以放置的标签段
说明:表示定义客户端读取服务端响应报文的间隔超时时间,服务端发送的响应报文间隔时间
1.3.8 配置Nginx gzip压缩实现性能优化
1. Nginx gzip压缩功能介绍
Nginx gzip压缩模块提供了压缩文件内容的功能,用户请求的内容在发送到用户客户端之前, Nginx服务器会根据一些具体的策略实施压缩,以节约网站出口带宽,同时加快数据传输效率,来提升用户访问体验。
2. Nginx gzip压缩的优点
提升网站用户体验:
发送给用户的内容小了,用户访问单位大小的页面就加快了,用户体验提升了,网站口碑就好了。
节约网站带宽成本:
数据是压缩传输的,因此节省了网站的带宽流量成本,不过压缩时会稍 微消耗一些CPU资源,这个一般可以忽略。
此功能既能提升用户体验,又能使公司少花钱,一举多得。对于几乎所有的Web服务来说,这 是一个非常重要的功能,Apache服务也有此功能。
官方用法参考链接:http://nginx.org/en/docs/http/ngx_http_gzip_module.html#gzip
gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 4;
gzip_types text/css text/xml application/javascript;
gzip_vary on;
说明:将服务端响应的数据信息进行压缩,可以有效节省带宽,提高用户访问效率
需要和不需要压缩的对象
- 1. 纯文本内容压缩比很高,因此,纯文本的内容最好进行压缩,例如:html、js、css、xml、shtml等格式的文件。
- 2. 被压缩的纯文本文件必须要大于1KB,由于压缩算法的特殊原因,极小的文件压缩后可能反而变大。
- 3. 图片、视频(流媒体)等文件尽量不要压缩,因为这些文件大多都是经过压缩的。
- 4. 如果再压缩很可能不会减小或减小很少,或者有可能增大,同时压缩时还会消耗大量的CPU、内存资源。
压缩配置参数说明
gzip on ;
#<==开启gzip压缩功能。
gzip_min_length lk;
#<==设置允许压缩的页面最小宇节数,页面宇节数从header头的Content-Length中获取。默认值是0,表示不管页面多大都进行压缩。建议设置成大于1K,如果小于1K可能会越压越大。
gzip_buffers 4 16k;
#<==压缩缓冲区大小。表示申请4个单位为16K的内存作为压缩结果流缓存,默认值是申请与原始数据 大小相同的内存空间来存储gzip压缩结果。
gzip_http_version 1.1 ;
#<==压缩版本(默认1.1,前端为squid2.5时使用1.0),用于设置识别HTTP协议版本,默认是1.1, 目前大部分浏览器已经支持GZIP解压,使用默认即可。
gzip_comp_level 2 ;
#<==压缩比率。用来指定gzip压缩比,1压缩比最小,处理速度最快;9压缩比最大,传输速度快,但处理最慢,也比较消耗CPU资源。
gzip_types text/plain application/x-javascript text/css application/xml ;
#<==用来指定压缩的类型,"text/html"类型总是会被压缩,这个就是HTTP原理部分讲的媒体类型。
gzip_vary on ;
#<==vary header支持。该选项可以让前端的缓存服务器缓存经过gzip压缩的页面,例如用Squid缓存 经过Nginx压缩的数据。
1.3.9 配置Nginx expires缓存实现性能优化
简单地说,Nginx expires的功能就是为用户访问的网站内容设定一个过期时间,当用户第一次访问这些内容时,会把这些内容存储在用户浏览器本地,这样用户第二次及以后继续访问该网站时,浏览器会检查加载已经缓存在用户浏览器本地的内容,就不会去服务器下载了,直到缓存的内容过期或被清除为止。
Nginx expires功能优点
- 1. expires可以降低网站的带宽,节约成本。
- 2. 加快用户访问网站的速度,提升用户访问体验。
- 3. 服务器访问量降低了,服务器压力就减轻了,服务器成本也会降低,甚至可以节约人力成本。
- 4. 对于几乎所有的Web服务来说,这是非常重要的功能之一,Apache服务也有此功能。
实践配置
[root@web02 extra]# cat blog.conf
server {
listen 80;
server_name blog.etiantian.org;
server_tokens off;
# 静态请求处理的location
location / {
root html/blog;
index index.php index.html index.htm;
}
# 动态请求处理的location
location ~* .*\.(php|php5)?$ {
root html/blog;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 10y;
root html/blog;
}
location ~ .*\.(js|css)$
{
expires 30d;
root html/blog;
}
}
location / {
expires 3650d;
}
企业网站有可能不希望被缓存的内容
- 1. 广告图片,用于广告服务,都缓存了就不好控制展示了。
- 2. 网站流量统计工具(JS代码),都缓存了流量统计就不准了。
- 3. 更新很频繁的文件(google的logo),这个如果按天,缓存效果还是显著的。
1.3.10 配置FastCGI优化
FastCGI Cache资料见:
http://nginx.org/en/docs/http/ngx_http_fastcgi_module.html#fastcgi_cache
FastCGI常见参数的Nginx配置示例如下:
[root@nginx conf]# cat nginx.conf
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
worker_rlimit_nofile 65535;
user nginx;
events {
use epoll;
worker_connections 10240;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
tcp_nopush on;
keepalive_timeout 65;
tcp_nodelay on;
client_header_timeout 15;
client_body_timeout 15;
send_timeout 15;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
server_tokens off;
fastcgi_connect_timeout 240;
fastcgi_send_timeout 240;
fastcgi_read_timeout 240;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;
#fastcgi_temp_path /data/ngx_fcgi_tmp;
fastcgi_cache_path /data/ngx_fcgi_cache levels=2:2 keys_zone=ngx_fcgi_cache:512m inactive=1d max_size=40g;
#web...............
server {
listen 80;
server_name blog.nmtui.com;
root html/blog;
location / {
root html/blog;
index index.php index.html index.htm;
}
location ~ .*\.(php|php5)${
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
fastcgi_cache ngx_fcgi_cache;
fastcgi_cache_valid 200 302 1h;
fastcgi_cache_valid 301 1d;
fastcgi_cache_valid any 1m;
fastcgi_cache_min_uses 1;
fastcgi_cache_use_stale error timeout invalid_header http_500;
fastcgi_cache_key http://$host$request_uri;
}
access_log logs/web_blog_access.log main;
}
upstream blog_etiantian{
server 10.0.0.8:8000 weight=1;
}
server {
listen 8000;
server_name blog.nmtui.com;
location / {
proxy_pass http://blog_etiantian;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
access_log logs/proxy_blog_access.log main;
}
}
FastCGI常见参数列表说明:
Nginx FastCGI 相关参数 |
说明 |
fastcgi_connect_timeout |
表示nginx服务器和后端FastCGI服务器连接的超时时间,默认值为60秒,这个参数值通常不要超过75秒,因为建立的连接越多,消耗的资源就越多 |
fastcgi_send_timeout |
设置nginx传输请求到FastCGI服务器的超时时间,这个超时时间不是整个请求的超时时间,而是两个成功请求的之间间隔时间为超时时间,如果这个时间内,FastCGI服务没有收到任何信息,连接将关闭 |
fastcgi_read_timeout |
设置nginx从FastCGI服务器读取响应信息的超时时间苯示连捿建立成功后, nginx等待后端服务器的响应时间,是nginx进入后端的排队之中的等候处理的时间,实际上是读取FastCGI响应成功信息的间隔时间, |
fastcgi_buffer_size |
这是Nginx FastCGI的缓冲区大小参数,设定用来读取从FastCGI服务器端收到的第一部分响应信息的缓冲区大小,这里的第一部分通常会包含一个小的响应头部s默认情况下,这个参数的大小等价于_个内存页。不是4k就是8k 根据相应系统平台来决定,也可以更小。 |
fastcgi_buffers |
设定用来读取从FastCGI服务器端收到的响应信息的缓冲区大小和缓冲区数是,默认值为fastcgi_buffer 8 4k|8k; 指定本地需要用多少和多大的缓冲区来缓冲FastCGI的应答请求,如果一个 PHP脚本产生的页面大小为256KB ,那么会为其分配4个64KB的缓冲区来缓存;如果页面大小大于256KB ,那么大于256KB的部分会缓存到fastcgi_temp 指定的路径中,但是这并不是好方法,因为内存中的数据处理速度要快于硬盘。一般这个值应该为站点中PHP脚本产生的页面大小的中间值,如果站点大部分脚本所产生的页面大小为256KB ,那么可以把这个值设置为"16 16k" , "4 64k"等 |
fastcgi_busy_buffers_size |
用于设置系统很忙时可以使用的fastcgi_buffers大小,言方推荐的大小为fastcgi_buffers*2 ;默认值为 fastcgi_busy_buffers_size 8k|16k |
fastcgi_temp_file_write_size |
FastCGI临时文件的大小,可以设置为128~256KB ; 默认fastcgi_temp_file_write_size 8k|16k; |
fastcgi_cache oldboy_nginx |
表示开后FastCGI缓存并为其指定一个名称。开后缓存非常有用,可以有效降低CPU的负载,并且防止502错误的发生,但是开后缓存也可能引起其它问题,要根据具体情况来选择 |
fastcgi_cache_path |
实例:fastcgi_cache_path /data/nginx/cache levels = 2:2 keys_zone = ngx_fcgi_cache:512m inactive = ld max_size=40g; fastcgi_cache缓存目录,可以设置目录前列层级,比如2:2会生成256*256 个子目录,keys_zone是这个缓存空间的名字,cache是用多少内存(这样热门的内容,nginx会直接放入内存,提高访问速度)。inactive表示默认失效时间,max_size表示最多用多少硬盘空间,雲要注意的是fastcgi_cache缓存是先写在fastcgi_temp_path在移到fastcgi_cache_path中去的,所以这个两个目录最好在同一个分区,从0.8.9之后可以在不同的分区,不过还是建议放在同_分区。 |
fastcgi_cache_valid |
示例:fastcgi_cache_valid 200 302 lh; 用来指定应答代码的缓存时间,实例中的值表示将200和302应答缓存1个小时; 示例:fastcgi_cache_valid 301 Id; 将301应答缓存1天; |
fastcgi_cache_min_uses |
示例:fastcgi_cache_min_uses 1; 设置清求几次之后晌应将被缓存,1表示一次即被缓存 |
fastcgi_cache_use_stale |
示例:fastcgi_cache_use_stale error timeout invalid_header http_500 定义在哪些情况下使用过期缓存 |
fastcgi_cache_key |
示例:fastcgi_cache_key requestmethod://hostrequesturi;fastcgi.cache.keyhttp://host$request_uri; 定义fastcgi_cache的key ,示例中以请求的URI作为缓存的key,nginx会取这个key的md5作为缓存文件,如果设置了缓存散列目录,nginx会从后往前取梠应的位数作为目录。注意一定要加作为cache key,否则如果先请求的为head 类型,后面的GET清求返回为空。 |
1.4 日志方面优化
1.4.1 配置Nginx服务相关日志操作
01. 进行日志的切割
[root@clsn ~]# mkdir /server/scripts/ -p
[root@clsn ~]# cd /server/scripts/
[root@clsn scripts]# vim cut_nginx_log.sh
#!/bin/bash
cd /application/nginx/logs &&\
/bin/mv www_access.log www_access_$(date +%F -d -1day).log #<==将日志按日期改成前一天的名称
/application/nginx/sbin/nginx -s reload #<==重新加载nginx使得触发重新生成访问日志文件
提示:实际上脚本的功能很简单,就是改名日志,然后加载nginx,重新生成文件记录日志
说明:也可以编辑使用logrotate日志切割服务,进行日志切割
02. 进行日志的选择记录
location ~ .*\.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ {
access_log off;
}
03. 进行日志文件授权
假如日志目录为/app/logs,则授权方法如下:
chown -R root.root /app/logs
chmod -R 700 /app/logs
04. 日志信息尽量汇总备份
[root@clsn ~]# zgrep 456 clsn.tar.gz
1.4.2 查看软件编译时的参数
①. 查看nginx安装时编译了哪些参数
/application/nginx/sbin/nginx -V
②. 查看apache安装时编译了哪些参数
cat /application/apache/build/config.nice
/application/apache/bin/apachectl -V #<--也可查看安装时编译信息,但显示的不全
③. 查看mysql安装时编译了哪些参数
grep CONFIGURE_LINE /application/mysql/bin/mysqlbug
PS:mysql二进制包的安装方式,是无法看到编译参数的,默认为空
④. 查看php安装时编译了哪些参数
/application/php/bin/php -i|grep configure