【使用uWSGI和Nginx来设置Django和你的Web服务器】

时间:2021-02-16 13:08:27

@


所谓WSGI

.

WSGI是Web服务器网关接口,它是一个规范,描述了Web服务器如何与Web应用程序通信,以及如何与Web应用程序链接在一起处理一个请求(接收请求、处理请求、响应请求).

.

基于wsgi运行的框架有Bottle、Django、Flask,用于解析动态HTTP请求.

.

---------⬇️

支持WSGI的服务器

.

wsgiref

Python自带的服务器.

.

Gunicorn

用于Linux的python wsgi Http服务器,常用于各种Django、Flask结合部署服务器.

.

mode_wsgi

实现了Apache与wsgi应用程序的结合.

.

uWSGI

C语言开发,快速,自我修复,开发人员友好的WSGI服务器,用于Python Web应用程序的专业部署和开发.

---------⬆️

.

在部署Python程序的Web应用程序时,可以根据性能的需求,选择合适的wsgi server,不同的wsgi server区别在于并发支持上,有单线程、多进程、多线程、协程的区别,其功能相似,无非是请求路由,执行对应的函数,返回处理结果.

关于Django环境中的wsgi.py文件

【使用uWSGI和Nginx来设置Django和你的Web服务器】

上图是Django环境中的wsgi.py文件.

.

Django的主要部署平台是WSGI,其用于Web服务器和应用程序的Python标准.

.

Django的startproject管理命令设置一个简单的默认WSGI设置,可以根据需求为我们的项目进行调整,并指示任何符合WSGI的应用程序服务器使用.

.

application使用WSGI部署的关键概念是应用程序服务器用于与代码通信的application可调用,它通常在服务器可访问的Python模块中作为名为application的对象提供.

.

startproject命令创建包含这样的application可调用的文件:

<project_name>/wsgi.py,它被Django的开发服务器和生产WSGI部署使用,WSGI服务器从其配置中获取application可调用的路径。Django的内置服务器,即runserver命令,从WSGI_APPLICATION设置读取它.

为什么使用Nginx,uWSGI

.

首先,nginx是对外的服务接口,外部浏览器通过url访问nginx.

.

然后,nginx接收到浏览器发送过来的http请求,将包进行解析并分析url。如果是静态文件请求就访问用户给nginx配置的静态文件目录,直接返回用户请求的静态文件,如果不是静态文件请求(即动态请求),那么nginx就将请求转发给uwsgi,uwsgi接收到请求之后将包进行处理,处理成wsgi可以接收的格式,并发给wsgi。wsgi根据请求调用应用程序中的某个文件,或者某个文件中的某个函数,最后处理完将返回值再次交给wsgi,wsgi将返回值进行打包,打包成uwsgi能够接收的格式,uwsgi接收wsgi发送的请求,并转发给nginx,nginx最终将返回值返回给浏览器.

.

最后,要知道第一级的nginx并不是必须的,uwsgi完全可以完成整个的和浏览器交互的流程,但是要考虑到下面3种情况.

.

1.安全问题

程序不能直接被浏览器访问到,而是通过nginx,nginx只开发某个接口.

uwsgi本身是内网接口,这样运维人员在nginx中加上安全性的限制,可以达到保护程序的作为.

.

2.负载均衡问题

一个uwsgi很可能不够用,即使开多个work也是不行,毕竟一台机器的cpu和内存是有限的.

而使用nginx做代理,一个nginx可以代理多台uwsgi完成uwsgi的负载均衡.

.

3.静态文件问题

用Django或是uwsgi来负责静态文件的处理是很浪费的行为,它们本身对文件的处理也不如nginx,所以整个静态文件的处理都直接由nginx完成,静态文件的访问完全不去经过uwsgi以及其后面的逻辑.

nginx官网:http://nginx.org/en/

nginx有关uwsgi模块的介绍:http://nginx.org/en/docs/http/ngx_http_uwsgi_module.html


下面将对Nginx、WSGI、uwsgi、uWSGI、Django之间的关系进行梳理.

.

---------⬇️

wsgi

全称web server gateway interface,wsgi不是服务器,也不是Python模块,而是一种通信协议.

其用于描述web server如何与web application进行通讯.

运行在wsgi上的web框架有Bottle、Flask、Django.

.

uwsgi

与wsgi一样,是通信协议,是uWSGI服务器的单独协议,用于定义传输信息的类型.

.

uWSGI

是一个web服务器,实现了WSGI协议,uwsgi协议.

.

Nginx

web服务器,更加安全,更好的处理静态资源,缓存功能,负载均衡.

nginx的强劲性能,配合我WSGI服务器会更加安全,性能有保障.

.

Django

高级的Python框架,用于快速开发,解决web开发的大部分麻烦,程序员可以更加专注于业务逻辑,无序重新造*.

---------⬆️

.

逻辑图:

【使用uWSGI和Nginx来设置Django和你的Web服务器】

---------⬇️

web服务器

传统的C/S架构,请求的过程是:

客户端 > 服务器

服务器 > 客户端

服务器就是:1.接收请求 2.处理请求 3.返回响应

.

web框架层

HTTP的动态数据交给web框架,例如Django遵循MTV模式处理请求.

HTTP协议使用url定位资源,urls.py将路由请求交给views视图处理,然后返回一个结果,完成一次请求.

web框架使用者只需要处理业务的逻辑即可.

---------⬆️

.

如果将一次通信转化为“对话”的过程:

Nginx:“Hello WSGI,我刚收到了一个请求,你准备下,然后让Django来处理吧。”

WSGI:“好的,Nginx,我马上设置环境变量,然后把请求交给Django。”

Django:“谢谢 WSGI,我处理完请求马上给你响应结果。”

WSGI:“好的,我在等。”

Django:“搞定啦,麻烦WSGI把响应结果传递给Nginx。”

WSGI:“Very good Nginx,响应结果请收好,已经按照要求传递给你了。”

Nginx:“好的,我这就把响应结果交给客户,合作愉快。”


安装使用uWSGI

安装uWSGI

# 进入虚拟环境,安装uWSGI
(venv) [root@master ~]# pip3.6 install uwsgi # 检查uWSGI版本
(venv) [root@master ~]# uwsgi --version
2.0.17.1 # 检查uWSGI Python版本
(venv) [root@master ~]# uwsgi --python-version
3.6.7

运行简单的uWSGI

test.py文件如下:

def application(env, start_response):
start_response('200 OK', [('Content-Type', 'text/html')])
return [b'Hello World'] # Python3

运行命令如下:

uwsgi --http :8000 --wsgi-file test.py

"""参数详解:
--http :8000 -> 使用http协议,端口8000
--wsgi-file test.py -> 加载test.py文件
"""

运行后,可从浏览器访问:

【使用uWSGI和Nginx来设置Django和你的Web服务器】


uWSGI运行Django环境

.

----------------------------------

通过命令运行Django环境

# 在项目根目录下执行如下命令
uwsgi --http :8000 --module project.wsgi """参数详解:
--http :8000 -> 使用http协议,端口8000
----module -> 加载project项目下的wsgi模块
"""

.

----------------------------------

使用脚本运行Django环境

.

uWSGI支持inixml等多种配置方式.

这里将以ini为例,在/etc/目录下新建uwsgi_nginx.ini配置文件,如下:

# 项目配置文件
[uwsgi] # 项目的绝对路径 定位到第一层
chdir = /root/oldboy # 指定项目的wsgi文件路径(从项目的根路径开始)
module = oldboy.wsgi # 指定虚拟解释器的第一层路径
home = /root/Envs/oldboy # 指定通过uwsgi启动多少个进程
processes = 4 # 如果你已经配置了nginx,请使用这个socket连接
socket = 0.0.0.0:9999 # 如果你没有配置nginx,想通过uwsgi直接启动web服务,请使用这个http连接,指明http协议
# http = 0.0.0.0:9999 # 用于在退出uwsgi环境后清空环境变量
vacuum = true

指定配置文件启动命令:

uwsgi --ini /etc/uwsgi_nginx.ini

uWSGI热加载Python程序

.

在启动命令的后面加上--py-autoreload=1即可

# 命令启动
uwsgi --http :8000 --module mysite.wsgi --py-autoreload=1 # 配置文件启动
uwsgi --ini uwsgi.ini --py-autoreload=1

此时修改Django代码,uWSGI会自动加载Django程序,页面生效.


配置Nginx结合uWSGI

这里我们只讲解Nginx配置文件部分

worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main;
sendfile on;
keepalive_timeout 65;
# 负载集群
upstream load {
server 192.168.1.100:9999;
server 192.168.1.200:9999;
server 192.168.1.300:9999;
}
server {
listen 80;
server_name 192.168.43.149;
location / {
# nginx自带的ngx_http_uwsgi_module模块,起到nginx和uwsgi交互的作用
# 通过uwsgi_pass指定服务器地址和协议,将动态请求转发给uwsgi处理
uwsgi_pass load;
include /usr/local/nginx1.12/conf/uwsgi_params;
}
# nginx处理静态页面资源
location /static {
alias /data/static/;
}
# nginx处理媒体资源
location /media {
alias/data/media/;
}
}
}

配置完后重启Nginx,即可实现其功能.


supervisor

supervisor是基于Python的任务管理工具,用于自动运行各种后台任务。当然我们也能直接使用Linux的nohup命令是任务自动后台运行,但如果要重启任务,就得手动去kill掉任务进程。这样很繁琐,而且一旦程序错误导致进程退出的话,系统也无法自动重载任务。

下载

# 由于supervisor在python3下无法使用,因此只能用python2去下载
yum install python-setuptools
easy_install supervisor

通过下面的命令生成supervisor的配置文件

echo_supervisord_conf > /etc/supervisord.conf

然后在/etc/supervisord.conf末尾添加如下代码

[program:django_test]  # [program:项目名称]
command=/root/Envs/djang1.11.11/bin/uwsgi --ini /root/django_test/uwsgi.ini
# 程序启动命令 autostart=true
# 在supervisord启动的时候也自动启动,可使uWSGI程序被杀掉后自动运行 # 这里我们只使用到了上面两个参数⬆️ # startsecs=10
# 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒 # autorestart=true
# 程序退出后自动重启,可选值有:[unexpected,true,false],默认为unexpected,表示进程被意外杀死后才重启 # startretries=3
# 启动失败自动重试次数,默认是3 # user=django1.11.11
# 用哪个用户启动进程,默认为root # priority=999
# 进程启动优先级,默认999,值小的优先启动 # redirect_stderr=true
# 把stderr重定向到stdout,默认false # stdout_logfile_maxbytes=20MB
# stdout 日志文件大小,默认50MB # stdout_logfile_backups = 20
# stdout 日志文件备份数,默认是10 # stdout
# 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件) # stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out # stopasgroup=false
# 默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程 # killasgroup=false
# 默认为false,向进程组发送kill信号,包括子进程

其中command是结合virtualenv的命令和supervisor的精髓:

command=/root/Envs/djang1.11.11/bin/uwsgi --ini /root/django_test/uwsgi.ini

command=/root/Envs/djang1.11.11/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /root/django_test --home=/root/venv --module django_test.wsgi
# --chdir:指定项目的根
# --home:指的是虚拟环境目录
# --module:找到Django项目环境中的wsgi.py文件

启动supervisor

# 启动supervisor
supervisord -c /etc/supervisord.conf # 重启my项目
supervisorctl -c /etc/supervisord.conf restart my supervisorctl -c /etc/supervisord.conf [start|stop|restart] [program-name|all]

重新加载supervisor

supervisorctl update
# 更新新的配置到supervisord supervisorctl reload
# 重新启动配置中的所有程序 supervisorctl start program_name
# 启动某个进程(program_name=你配置中写的程序名称) supervisorctl
# 查看正在守候的进程 pervisorctl stop program_name
# 停止某一进程 (program_name=你配置中写的程序名称) supervisorctl restart program_name
# 重启某一进程 (program_name=你配置中写的程序名称) supervisorctl stop all
# 停止全部进程 # 注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。

Django静态文件与Nginx配置

mysite/settings.py

# 此参数会将将所有STATICFILES_DIRS中所有文件夹中的文件,以及各app中static中的文件都复制到指定的路径下
STATIC_ROOT='/data/static' STATIC_URL='/static'
STATICFILES_DIRS=[
os.path.join(BASE_DIR, 'static'),
]

配置完毕后,运行命令:

python3.6 manage.py collectstatic

上面的命令会收集所有我们项目中所有的静态文件并保存到STATIC_ROOT指定的路径下.

把这些文件放到一起是为了用nginx等部署的时候更方便.


参考文献:https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html