一、Flask用法
Flask是python的轻量级web框架，可用来做简单的模型部署。Flask的基本用法如下：
step1：定义Flask类的对象，即创建一个基于Flask的服务器
step2：定义公开的路由及路由对应的调用函数
step3：运行服务器
"""基于flask的web网页"""
from flask import Flask # 导入flask库
app = Flask(__name__) # 创建Flask类的对象，可理解为建立一个基于flask框架的服务器
# 公开路由的名称【my_fcn】,同时修饰下一行定义的函数。
# 定义的函数名要与公开的路由名称一致。
# 后续访问网页的url格式为：http://ip:port/路由名称
@app.route("/my_fcn")
def my_fcn():
return "hello world" # 访问网页时返回内容会显示在网页上
if __name__ == "__main__":
app.run(host='0.0.0.0', port=8000) # 运行服务器。可通过get/post参数请求数据运行结果：
二、在基于flask的网页上部署模型
在基于flask的网页上部署模型，其实只需在上述例子中定义的函数【my_fcn】中添加模型预测的代码即可。示例如下：
"""基于flask的web网页"""
import numpy as np
import cv2
import torch
import torchvision
from flask import Flask # 导入flask库
app = Flask(__name__) # 创建Flask类的对象，可理解为建立一个基于flask框架的服务器
# 公开路由的名称【my_fcn】,同时修饰下一行定义的函数。
# 定义的函数名要与公开的路由名称一致。
# 后续访问网页的url格式为：http://ip:port/路由名称
@app.route("/my_fcn")
def my_fcn():
# 加载图片，并将图片转为0到1之间的浮点数张量
img = cv2.imread("rose.jpg")
img = cv2.resize(img, (224, 224))
img_tensor = torch.tensor(img).permute(2, 0, 1).unsqueeze(0).float()/255.0
model = torchvision.models.resnet50(pretrained=True)
model.eval()
output = model(img_tensor)
output = torch.nn.functional.softmax(output,1)
output = torch.argmax(output)
return "class index={}".format(output.numpy())
if __name__ == "__main__":
app.run(host='0.0.0.0', port=8000) # 运行服务器。可通过get/post参数请求数据运行结果：
三、远程客户端访问网页服务器模型进行推理
当需要在远程客户端请求服务器进行推理时，需要将图像的数据post到服务器，第二节的方法就需要进行改进了，具体方法是将图像数据编码为二进制以post方法提交，服务器解析后进行推理。
举例：web服务器部署了基于resnet50的分类模型，远程客户端读取了一张图片，并提交给服务器进行推理，服务器将推理结果返回给客户端。
代码如下：
3.1 服务器代码：server.py
# server.py
import numpy as np
from flask import Flask, request, jsonify
import json
import torch
import torchvision
app = Flask(__name__)
model = torchvision.models.resnet50(pretrained=True)
model.eval()
# 推理过程
def run_inference(in_tensor):
with torch.no_grad():
out_tensor = model(in_tensor)
out_tensor = torch.nn.functional.softmax(out_tensor, 1)
output = torch.argmax(out_tensor)
return output
# flask服务器
@app.route('/predict', methods=['GET', 'POST']) # 注意，这里开放GET、POST请求
def predict():
# 客户端post时，包含将输入张量尺寸以json字符串，input_input = "{"shape": [C, W, H]}"，因此需要重新解析为json并提取尺寸
in_shape = json.load(request.files['in_shape'])
# 客户端post时，将图像数据以二进制形式发送，因此需要将图像重新从二进制转换会tensor，并resize
in_blob = request.files['in_blob'].read()
in_tensor = torch.from_numpy(np.frombuffer(in_blob, dtype=np.float32))
in_tensor = in_tensor.view(*in_shape['shape'])
output = run_inference(in_tensor) # 推理
output = '{}'.format(output)
return jsonify(output) # 以json返回结果
if __name__ == "__main__":
app.run(host='0.0.0.0', port=8000)3.2 客户端代码：client.py
# 首先运行【server.py】，然后运行本文件，实现请求推理本地图像的预测结果。
# client.py
import torch
import cv2
import io
import json
import requests
# config
IMG_NAME = 'dog.jpg'
MY_URL = 'http://192.168.1.103:8000/predict'
# 处理图像数据
img = cv2.imread(IMG_NAME)
img = cv2.resize(img, (224, 224)) # resnet输入张量shape=3x224x224
in_tensor = torch.tensor(img).permute(2, 0, 1).unsqueeze(0).float()/255.0
blob = io.BytesIO(bytearray(in_tensor.numpy())) # 将输入张量转为numpy，再转为二进制进行post请求
shape = io.StringIO(json.dumps({'shape': [1, 3, 224, 224]})) # 将输入张量尺寸post
my_files = {'in_shape': shape, 'in_blob': blob}
r = requests.post(url=MY_URL, files=my_files)
response = json.loads(r.content) # 由于服务器返回结果为json，因此需要解析json内容
print("the class index of '{}' is: {}".format(IMG_NAME, response))
运行结果：
四、缺点
由于HTTP是串行的，当大量并发请求时，这种方式只能应答完一个请求后才会应答下一个，改进方法可通过使用Sanic框架，实现异步并行处理。