flask 第七章 简陋版智能玩具 +MongoDB初识和基本操作

1.简陋版web智能玩具

FAQ.py文件

import os

from aip import AipSpeech, AipNlp
from uuid import uuid4
""" 你的 APPID AK SK """
APP_ID = ''
API_KEY = 'uzx4SWZuimPqbE4LvxYScEhi'
SECRET_KEY = '3HBy8yi11ID9T4yyxkADuGYOGyavxPdG'

client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
client_nlp = AipNlp(APP_ID, API_KEY, SECRET_KEY)

# 语音识别,将你输入的文字转化为语音
def AI_voice(file):
    filename=f'{uuid4()}.mp3'
    result = client.synthesis(file, 'zh', 1, {
        'spd': 5,
        'vol': 5,
        'pit': 5,
        'per': 2
    })
    if not isinstance(result, dict):
        with open(filename, 'wb') as f:
            f.write(result)

    return filename

# 语音合成,通过语音生成文字,在这里只是读出文字,并没有写出来,下面这一步才是将语音中的文字return出来
def get_file_content(file):
    os.system(f"ffmpeg -y  -i {file} -acodec pcm_s16le -f s16le -ac 1 -ar 16000 {file}.pcm")
    with open(f'{file}.pcm', 'rb') as fp:
        return fp.read()

# 返回的是你语音中的消息
def voice_content(file):
    result = client.asr(get_file_content(file), 'pcm', 16000, {
        'dev_pid': 1536,
    })
    # print(result.get('result')[0])
    return result.get('result')[0]

def goto_tl(text, uid):
    URL = "http://openapi.tuling123.com/openapi/api/v2"
    import requests
    data = {
        "perception": {
            "inputText": {
                "text": "你叫什么名字"
            }
        },
        "userInfo": {
            "apiKey": "be41cf8596a24aec95b0e86be895cfa9",
            "userId": ""
        }
    }

    data["perception"]["inputText"]["text"] = text
    data["userInfo"]["userId"] = uid
    res = requests.post(URL, json=data)

    return res.json().get("results")[0].get("values").get("text")

WebToy.html文件内容如下:

import os

from aip import AipSpeech, AipNlp
from uuid import uuid4
""" 你的 APPID AK SK """
#图灵机器人
APP_ID = ''
API_KEY = 'uzx4SWZuimPqbE4LvxYScEhi'
SECRET_KEY = '3HBy8yi11ID9T4yyxkADuGYOGyavxPdG'

client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
client_nlp = AipNlp(APP_ID, API_KEY, SECRET_KEY)

# 语音识别,将你输入的文字转化为语音
def AI_voice(file):
    filename=f'{uuid4()}.mp3'
    result = client.synthesis(file, 'zh', 1, {
        'spd': 5,
        'vol': 5,
        'pit': 5,
        'per': 2
    })
    if not isinstance(result, dict):
        with open(filename, 'wb') as f:
            f.write(result)

    return filename

# 语音合成,通过语音生成文字,在这里只是读出文字,并没有写出来,下面这一步才是将语音中的文字return出来
def get_file_content(file):
    os.system(f"ffmpeg -y  -i {file} -acodec pcm_s16le -f s16le -ac 1 -ar 16000 {file}.pcm")
    with open(f'{file}.pcm', 'rb') as fp:
        return fp.read()

# 返回的是你语音中的消息
def voice_content(file):
    result = client.asr(get_file_content(file), 'pcm', 16000, {
        'dev_pid': 1536,
    })
    return result.get('result')[0]

def goto_tl(text, uid):
    URL = "http://openapi.tuling123.com/openapi/api/v2"
    import requests
    data = {
        "perception": {
            "inputText": {
                "text": "你叫什么名字"
            }
        },
        "userInfo": {
            "apiKey": "be41cf8596a24aec95b0e86be895cfa9",
            "userId": ""
        }
    }

    data["perception"]["inputText"]["text"] = text
    data["userInfo"]["userId"] = uid
    res = requests.post(URL, json=data)

    return res.json().get("results")[0].get("values").get("text")

webtoy.py文件内容如下:

from flask import Flask, render_template, request, jsonify, send_file
from uuid import uuid4  # 这个是导入的一串数字,唯一的

from flask_cors import CORS

from day07.FAQ import AI_voice, goto_tl, voice_content, client_nlp

app = Flask(__name__)
#跨域请求
CORS(app)

@app.route('/')
def WebToy():
    return render_template('WebToy.html')

@app.route("/uploader",methods=["POST","GET"])
def uploader():
    filename = f"{uuid4()}.wav"
    file = request.files.get("reco")
    file.save(filename)

    text = voice_content(filename)
    # 自然语言处理 LowB
    score = client_nlp.simnet("你叫什么名字", text).get("score")
    print(score)
    if score >= 0.75:
        filename = AI_voice("我的名字叫嘻嘻")
    else:
        answer = goto_tl(text, "qiaoxiaoqiang")
        filename = AI_voice(answer)

    return jsonify({"code":0,"msg":"文件上传成功","filename":filename})

@app.route('/getaudio/<filename>')
def getaudio(filename):
    return send_file(filename)

if __name__ == '__main__':
    app.run('0.0.0.0', 5000, debug=True)

2.MongoDB初识

在启动mongoDB前,先配置环境变量 ,安装后找到bin目录(包含mongod.exe和mongo.exe)

MongoDB的默认服务端口为27017 ,redis的默认端口为6379,mysql的默认端口为3306

1.启动MongoDB服务

　　mongod -dbpath  D:\data\db

　　mongod -dbpath 数据库的存放路径

　　　　　　-install  安装Windows服务

　　　　　　-remove 卸载Windows服务

2.客户端的连接

　　推荐使用mongodb自带的客户端  -mongo

　　show databases    查看本地磁盘数据库

　　use dbname　　   切换到当前使用的数据库

　　db　　　　　　　 查看当前使用的数据库

　　show tables 　　   查看当前数据库存放在磁盘上的数据表

　　use 不存在的数据库    - 创建了数据库 ,当前创建的数据库没有存放在磁盘中

数据库中没有users数据库,如果使用了 use  users命令,他会在内存中创建一个users的数据库

　　db.tablename 不存在的表名 - 创建数据表  当前数据表没有存放在磁盘中

通过前面创建的数据库,use 不存在的表名,如果你在后面再表中添加了数据,那么这个表和内容都存放到了磁盘中

　　概念: - 使用了不存在的对象即创建了该对象  - 不限制数据结构

使用第三方客户端 :  --图形化工具 -NoSQLBooster4MongoDB for windows for mac

3.MongoDB的增删改查

添加数据:

db.tablename.insert({'key':'value'})

官方推荐的写法:
    #在图形化客户端和数据库中是这个写法
    db.table.insertOne({'key':'value'})
    db.table.insertMany({k1:v1},{k2:v2},,{k3:v3})
    #在pycharm中的写法为
    db.tablename.insert_one({})
    db.tablename.insert_many({},{},{})

删除数据:

db.tablename.remove({k:v})
db.tablename.remove({age:34}) #删除所有age=34的数据

官方推荐的写法:
#数据库和图形化操作写法
db.tablename.deleteOne()  #删除符合条件的第一条数据
db.tablename.deleteMany() # 删除符合条件的所有数据
#在pycharm中的写法为
db.tablename.delete_one({})
db.tablename.delete_many({},{},{})

更新数据:

#查询出name为xx的数据,将符合条件的一条数据进行修改
db.tablename.update({name:'xx'},{$set:{age:23}}) 

$set -set修改器   强制替换覆盖

官方推荐写法

　　#数据库和图形化操作的写法
　　#更新符合条件的第一条数据,第一条数据就是你第一个插入的数据
　　db.tablename.updateOne({k1:v1},{$set:{k2:v2}})
　　#更新符合条件的所有数据
　　db.tablename.updateMany({k1:v1},{$set:{k2:v2}})

　　pycharm写法
　　db.tablename.update_one({},{})
　　db.tablename.update_many({},{})

array(数组,列表) + object(字典) :db.tablename.updateOne({cp.name:'装X'},{$set:{cp.$.score:''}}) #此处cp.$.score,$的意思为前面查询出的索引

查询操作:

db.filename.find()  #查询所有数据
db.user.find({name:xixi}) #查询出name为xixi的数据

#查询符合条件的一条数据
db.tablename.findOne({k:v}) 

4.MongoDB的数据类型

ObjectId ：Documents 自动生成的 _id
_id:ObjectId("5cb69a23815ea7295f8bad43") 自动生成的 json数据中不包含ObjectId类型 id类型uuid
String： 字符串，必须是utf-8
Boolean：布尔值，true 或者false (这里有坑哦~在我们大Python中 True False 首字母大写)
Integer：整数 (Int32 Int64 你们就知道有个Int就行了,一般我们用Int32)
Double：浮点数 (没有float类型,所有小数都是Double)
Arrays：数组或者列表，多个值存储到一个键 (list哦,大Python中的List哦)
Object：深度<=4 如果你学过Python的话,那么这个概念特别好理解,就是Python中的字典,这个数据类型就是字典
Null：空数据类型 , 一个特殊的概念,None Null
Timestamp：时间戳 通常不用这个数据类型 如果存储时间 Double
Date：存储当前日期或时间unix时间格式 (我们一般不用这个Date类型,时间戳可以秒杀一切时间类型)

5.数学比较符

$lt : 小于 √
$lte: 小于等于 √
$gt : 大于 √
$gte: 大于等于 √

$ne : 不等于
$eq or 冒号 : 等于

6.查询关键字

　　array数据类型会自动遍历

　　$in 或者等于相同字段 db.filename.fiind({age:{$in:[19,109]}})  　　     #就是age=19或age=109的数据 

　　$or 或者等于不同字段 db.filename.find({$or:[{age:19},{age:109}] })   #也是age=19或age=109的数据,与$in不同之处在于 ,$in写的必须是相同的字段,而$or可以写不同的字段

　　$and or 逗号  -- 并列条件

　　$all --Array 数据类型 子集查询 db.filename.find({hobby:{$all : [ '玉凤','玉霞' ]}})

7.$字符特殊用法:

　　存储符合条件的元素的下标索引

　　用于修改字段

8.修改器

　　$set -- set修改器   强制替换覆盖

　　$unset  -- 强制删除字段

　　$inc   -- 引用增加   #就相当于我查询出的数据进行增加,没有减,如果想实现减的操作,加负的即可

 　　array操作:

　　$push  相当于append  在array中追加 

　　$pushAll  相当于extend  在array中追加列表中的所有元素

　　$pull   相当于remove  在array中删除一个元素

　　$pullAll  在array中删除一堆元素

　　$pop  相当于pop 删除第一个 -1 或 最后一个 1 的值

9. sort(排序) skip(跳过) limit(选取条目)

sort 排序

#找到name为xixi的数据,根据age排序
db.filename.find({name:xixi}).sort({age:18})

#找到name为xixi的数据,根据age排序,如果age有相同的,再根据birthday倒序排序
db.filename.find({name:xixi}).sort({age:18,birthday:-1})

skip 跳过

#找到name为xixi的数据,然后根据插入顺序跳过第一条
db.filename.find(name:xixi).skip(1)

limit 选取条目

#找到name为xixi的数据,根据插入顺序选取出3条数据展示
db.filename.find({name:xixi}).limit(3)

sort,limit,skip是有执行顺序的

先排序(sort),在跳过(skip),最后显示条目(limit)

分页

(page-1)*num

db.filename.find({name:xixi}).skip((page-1)*num).limit(num)

10.pymongo

*************************

11.MongoDB偷换的概念

MySql               MongoDB

DataBase            DataBase
Table               Collection
Colunm              Field
Row                 Dcouments

mongodb优化

（1）
文档中的_id键推荐使用默认值，禁止向_id中保存自定义的值。

​解读： MongoDB文档中都会有一个“_id”键，默认是个ObjectID对象（标识符中包含时间戳、机器ID、进程ID和计数器）。MongoDB在指定_id与不指定_id插入时 速度相差很大，指定_id会减慢插入的速率。
​

（2）
推荐使用短字段名。

​解读：与关系型数据库不同，MongoDB集合中的每一个文档都需要存储字段名，长字段名会需要更多的存储空间。

（3）
MongoDB索引可以提高文档的查询、更新、删除、排序操作，所以结合业务需求，适当创建索引。

（4）
每个索引都会占用一些空间，并且导致插入操作的资源消耗，因此，建议每个集合的索引数尽量控制在5个以内。

（5）
对于包含多个键的查询，创建包含这些键的复合索引是个不错的解决方案。复合索引的键值顺序很重要，理解索引最左前缀原则。

解读：例如在test集合上创建组合索引{a:1,b:1,c:1}。执行以下7个查询语句：

db.test.find({a:”hello”}) // 1
db.test.find({b:”sogo”, a:”hello”}) // 2
db.test.find({a:”hello”,b:”sogo”, c:”666”}) // 3
db.test.find({c:”666”, a:”hello”}) // 4
db.test.find({b:”sogo”, c:”666”}) // 5
db.test.find({b:”sogo” }) // 6
db.test.find({c:”666”}) // 7
以上查询语句可能走索引的是1、2、3、4
查询应包含最左索引字段，以索引创建顺序为准，与查询字段顺序无关。
最少索引覆盖最多查询。
（6）
TTL 索引（time-to-live index，具有生命周期的索引），使用TTL索引可以将超时时间的文档老化，一个文档到达老化的程度之后就会被删除。

解读：创建TTL的索引必须是日期类型。TTL索引是一种单字段索引，不能是复合索引。TTL删除文档后台线程每60s移除失效文档。不支持定长集合。

（7）
需要在集合中某字段创建索引，但集合中大量的文档不包含此键值时，建议创建稀疏索引。

解读：索引默认是密集型的，这意味着，即使文档的索引字段缺失，在索引中也存在着一个对应关系。在稀疏索引中，只有包含了索引键值的文档才会出现。

（8）
创建文本索引时字段指定text，而不是1或者-1。每个集合只有一个文本索引，但是它可以为任意多个字段建立索引。

解读：文本搜索速度快很多，推荐使用文本索引替代对集合文档的多字段的低效查询。

（9）
使用findOne在数据库中查询匹配多个项目，它就会在自然排序文件集合中返回第一个项目。如果需要返回多个文档，则使用find方法。

（10）
如果查询无需返回整个文档或只是用来判断键值是否存在，可以通过投影（映射）来限制返回字段，减少网络流量和客户端的内存使用。

解读：既可以通过设置{key:1}来显式指定返回的字段，也可以设置{key:0}指定需要排除的字段。

（11）
除了前缀样式查询，正则表达式查询不能使用索引，执行的时间比大多数选择器更长，应节制性地使用它们。

（12）
在聚合运算中，$要在match要在$group前面，通过$前置，可以减少match前置，可以减少$ group 操作符要处理的文档数量。

（13）
通过操作符对文档进行修改，通常可以获得更好的性能，因为，不需要往返服务器来获取并修改文档数据，可以在序列化和传输数据上花费更少的时间。

（14）
批量插入（batchInsert）可以减少数据向服务器的提交次数，提高性能。但是批量提交的BSON Size不超过48MB。

（15）
禁止一次取出太多的数据进行排序，MongoDB目前支持对32M以内的结果集进行排序。如果需要排序，请尽量限制结果集中的数据量。

（16）
查询中的某些$操作符可能会导致性能低下，如操作符可能会导致性能低下，如$ne，$，not，$exists，$nin，$or尽量在业务中不要使用。

a) $exist:因为松散的文档结构导致查询必须遍历每一个文档；
b) $ne:如果当取反的值为大多数，则会扫描整个索引；
c) $not:可能会导致查询优化器不知道应当使用哪个索引，所以会经常退化为全表扫描；
d) $nin:全表扫描；
e) \$有多个条件就会查询多少次，最后合并结果集，应该考虑装换为or:有多个条件就会查询多少次，最后合并结果集，应该考虑装换为$in。
（17）
固定集合可以用于记录日志，其插入数据更快，可以实现在插入数据时，淘汰最早的数据。需求分析和设计时，可考虑此特性，即提高了性能，有省去了删除动作。

​解读：固定集合需要显式创建，指定Size的大小，还能够指定文档的数量。集合不管先达到哪一个限制，之后插入的新文档都会把最老的文档移出。

（18）
集合中文档的数据量会影响查询性能，为保持适量，需要定期归档。