flask 第七章 简陋版智能玩具 +MongoDB初识和基本操作
1.简陋版web智能玩具
FAQ.py文件
import os from aip import AipSpeech, AipNlp from uuid import uuid4 """ 你的 APPID AK SK """ APP_ID = '16027160' API_KEY = 'uzx4SWZuimPqbE4LvxYScEhi' SECRET_KEY = '3HBy8yi11ID9T4yyxkADuGYOGyavxPdG' client = AipSpeech(APP_ID, API_KEY, SECRET_KEY) client_nlp = AipNlp(APP_ID, API_KEY, SECRET_KEY) # 语音识别,将你输入的文字转化为语音 def AI_voice(file): filename=f'{uuid4()}.mp3' result = client.synthesis(file, 'zh', 1, { 'spd': 5, 'vol': 5, 'pit': 5, 'per': 2 }) if not isinstance(result, dict): with open(filename, 'wb') as f: f.write(result) return filename # 语音合成,通过语音生成文字,在这里只是读出文字,并没有写出来,下面这一步才是将语音中的文字return出来 def get_file_content(file): os.system(f"ffmpeg -y -i {file} -acodec pcm_s16le -f s16le -ac 1 -ar 16000 {file}.pcm") with open(f'{file}.pcm', 'rb') as fp: return fp.read() # 返回的是你语音中的消息 def voice_content(file): result = client.asr(get_file_content(file), 'pcm', 16000, { 'dev_pid': 1536, }) # print(result.get('result')[0]) return result.get('result')[0] def goto_tl(text, uid): URL = "http://openapi.tuling123.com/openapi/api/v2" import requests data = { "perception": { "inputText": { "text": "你叫什么名字" } }, "userInfo": { "apiKey": "be41cf8596a24aec95b0e86be895cfa9", "userId": "123" } } data["perception"]["inputText"]["text"] = text data["userInfo"]["userId"] = uid res = requests.post(URL, json=data) return res.json().get("results")[0].get("values").get("text")
WebToy.html文件内容如下:
import os from aip import AipSpeech, AipNlp from uuid import uuid4 """ 你的 APPID AK SK """
#图灵机器人 APP_ID = '16027160' API_KEY = 'uzx4SWZuimPqbE4LvxYScEhi' SECRET_KEY = '3HBy8yi11ID9T4yyxkADuGYOGyavxPdG' client = AipSpeech(APP_ID, API_KEY, SECRET_KEY) client_nlp = AipNlp(APP_ID, API_KEY, SECRET_KEY) # 语音识别,将你输入的文字转化为语音 def AI_voice(file): filename=f'{uuid4()}.mp3' result = client.synthesis(file, 'zh', 1, { 'spd': 5, 'vol': 5, 'pit': 5, 'per': 2 }) if not isinstance(result, dict): with open(filename, 'wb') as f: f.write(result) return filename # 语音合成,通过语音生成文字,在这里只是读出文字,并没有写出来,下面这一步才是将语音中的文字return出来 def get_file_content(file): os.system(f"ffmpeg -y -i {file} -acodec pcm_s16le -f s16le -ac 1 -ar 16000 {file}.pcm") with open(f'{file}.pcm', 'rb') as fp: return fp.read() # 返回的是你语音中的消息 def voice_content(file): result = client.asr(get_file_content(file), 'pcm', 16000, { 'dev_pid': 1536, }) return result.get('result')[0] def goto_tl(text, uid): URL = "http://openapi.tuling123.com/openapi/api/v2" import requests data = { "perception": { "inputText": { "text": "你叫什么名字" } }, "userInfo": { "apiKey": "be41cf8596a24aec95b0e86be895cfa9", "userId": "123" } } data["perception"]["inputText"]["text"] = text data["userInfo"]["userId"] = uid res = requests.post(URL, json=data) return res.json().get("results")[0].get("values").get("text")
webtoy.py文件内容如下:
from flask import Flask, render_template, request, jsonify, send_file from uuid import uuid4 # 这个是导入的一串数字,唯一的 from flask_cors import CORS from day07.FAQ import AI_voice, goto_tl, voice_content, client_nlp app = Flask(__name__) #跨域请求 CORS(app) @app.route('/') def WebToy(): return render_template('WebToy.html') @app.route("/uploader",methods=["POST","GET"]) def uploader(): filename = f"{uuid4()}.wav" file = request.files.get("reco") file.save(filename) text = voice_content(filename) # 自然语言处理 LowB score = client_nlp.simnet("你叫什么名字", text).get("score") print(score) if score >= 0.75: filename = AI_voice("我的名字叫嘻嘻") else: answer = goto_tl(text, "qiaoxiaoqiang") filename = AI_voice(answer) return jsonify({"code":0,"msg":"文件上传成功","filename":filename}) @app.route('/getaudio/<filename>') def getaudio(filename): return send_file(filename) if __name__ == '__main__': app.run('0.0.0.0', 5000, debug=True)
2.MongoDB初识
在启动mongoDB前,先配置环境变量 ,安装后找到bin目录(包含mongod.exe和mongo.exe)
MongoDB的默认服务端口为27017 ,redis的默认端口为6379,mysql的默认端口为3306
1.启动MongoDB服务
mongod -dbpath D:\data\db mongod -dbpath 数据库的存放路径 -install 安装Windows服务 -remove 卸载Windows服务
2.客户端的连接
推荐使用mongodb自带的客户端 -mongo
show databases 查看本地磁盘数据库
use dbname 切换到当前使用的数据库
db 查看当前使用的数据库
show tables 查看当前数据库存放在磁盘上的数据表
use 不存在的数据库 - 创建了数据库 ,当前创建的数据库没有存放在磁盘中
数据库中没有users数据库,如果使用了 use users命令,他会在内存中创建一个users的数据库
db.tablename 不存在的表名 - 创建数据表 当前数据表没有存放在磁盘中
通过前面创建的数据库,use 不存在的表名,如果你在后面再表中添加了数据,那么这个表和内容都存放到了磁盘中
概念: - 使用了不存在的对象即创建了该对象 - 不限制数据结构
使用第三方客户端 : --图形化工具 -NoSQLBooster4MongoDB for windows for mac
3.MongoDB的增删改查
添加数据:
db.tablename.insert({'key':'value'})
官方推荐的写法:
#在图形化客户端和数据库中是这个写法
db.table.insertOne({'key':'value'})
db.table.insertMany({k1:v1},{k2:v2},,{k3:v3})
#在pycharm中的写法为
db.tablename.insert_one({})
db.tablename.insert_many({},{},{})
删除数据:
db.tablename.remove({k:v}) db.tablename.remove({age:34}) #删除所有age=34的数据 官方推荐的写法: #数据库和图形化操作写法 db.tablename.deleteOne() #删除符合条件的第一条数据 db.tablename.deleteMany() # 删除符合条件的所有数据 #在pycharm中的写法为 db.tablename.delete_one({}) db.tablename.delete_many({},{},{})
更新数据:
#查询出name为xx的数据,将符合条件的一条数据进行修改 db.tablename.update({name:'xx'},{$set:{age:23}}) $set -set修改器 强制替换覆盖 官方推荐写法 #数据库和图形化操作的写法 #更新符合条件的第一条数据,第一条数据就是你第一个插入的数据 db.tablename.updateOne({k1:v1},{$set:{k2:v2}}) #更新符合条件的所有数据 db.tablename.updateMany({k1:v1},{$set:{k2:v2}}) pycharm写法 db.tablename.update_one({},{}) db.tablename.update_many({},{}) array(数组,列表) + object(字典) :db.tablename.updateOne({cp.name:'装X'},{$set:{cp.$.score:'100'}}) #此处cp.$.score,$的意思为前面查询出的索引
查询操作:
db.filename.find() #查询所有数据 db.user.find({name:xixi}) #查询出name为xixi的数据 #查询符合条件的一条数据 db.tablename.findOne({k:v})
4.MongoDB的数据类型
ObjectId ：Documents 自动生成的 _id _id:ObjectId("5cb69a23815ea7295f8bad43") 自动生成的 json数据中不包含ObjectId类型 id类型uuid String： 字符串，必须是utf-8 Boolean：布尔值，true 或者false (这里有坑哦~在我们大Python中 True False 首字母大写) Integer：整数 (Int32 Int64 你们就知道有个Int就行了,一般我们用Int32) Double：浮点数 (没有float类型,所有小数都是Double) Arrays：数组或者列表，多个值存储到一个键 (list哦,大Python中的List哦) Object：深度<=4 如果你学过Python的话,那么这个概念特别好理解,就是Python中的字典,这个数据类型就是字典 Null：空数据类型 , 一个特殊的概念,None Null Timestamp：时间戳 通常不用这个数据类型 如果存储时间 Double Date：存储当前日期或时间unix时间格式 (我们一般不用这个Date类型,时间戳可以秒杀一切时间类型)
5.数学比较符
$lt : 小于 √ $lte: 小于等于 √ $gt : 大于 √ $gte: 大于等于 √ $ne : 不等于 $eq or 冒号 : 等于
6.查询关键字
array数据类型会自动遍历 $in 或者等于相同字段 db.filename.fiind({age:{$in:[19,109]}}) #就是age=19或age=109的数据 $or 或者等于不同字段 db.filename.find({$or:[{age:19},{age:109}] }) #也是age=19或age=109的数据,与$in不同之处在于 ,$in写的必须是相同的字段,而$or可以写不同的字段 $and or 逗号 -- 并列条件 $all --Array 数据类型 子集查询 db.filename.find({hobby:{$all : [ '玉凤','玉霞' ]}})
7.$字符特殊用法:
存储符合条件的元素的下标索引
用于修改字段
8.修改器
$set -- set修改器 强制替换覆盖 $unset -- 强制删除字段 $inc -- 引用增加 #就相当于我查询出的数据进行增加,没有减,如果想实现减的操作,加负的即可 array操作: $push 相当于append 在array中追加 $pushAll 相当于extend 在array中追加列表中的所有元素 $pull 相当于remove 在array中删除一个元素 $pullAll 在array中删除一堆元素 $pop 相当于pop 删除第一个 -1 或 最后一个 1 的值
9. sort(排序) skip(跳过) limit(选取条目)
sort 排序
#找到name为xixi的数据,根据age排序 db.filename.find({name:xixi}).sort({age:18}) #找到name为xixi的数据,根据age排序,如果age有相同的,再根据birthday倒序排序 db.filename.find({name:xixi}).sort({age:18,birthday:-1})
skip 跳过
#找到name为xixi的数据,然后根据插入顺序跳过第一条 db.filename.find(name:xixi).skip(1)
limit 选取条目
#找到name为xixi的数据,根据插入顺序选取出3条数据展示 db.filename.find({name:xixi}).limit(3)
sort,limit,skip是有执行顺序的
先排序(sort),在跳过(skip),最后显示条目(limit)
分页
(page-1)*num
db.filename.find({name:xixi}).skip((page-1)*num).limit(num)
10.pymongo
*************************
11.MongoDB偷换的概念
MySql MongoDB DataBase DataBase Table Collection Colunm Field Row Dcouments
mongodb优化
（1） 文档中的_id键推荐使用默认值，禁止向_id中保存自定义的值。 解读： MongoDB文档中都会有一个“_id”键，默认是个ObjectID对象（标识符中包含时间戳、机器ID、进程ID和计数器）。MongoDB在指定_id与不指定_id插入时 速度相差很大，指定_id会减慢插入的速率。 （2） 推荐使用短字段名。 解读：与关系型数据库不同，MongoDB集合中的每一个文档都需要存储字段名，长字段名会需要更多的存储空间。 （3） MongoDB索引可以提高文档的查询、更新、删除、排序操作，所以结合业务需求，适当创建索引。 （4） 每个索引都会占用一些空间，并且导致插入操作的资源消耗，因此，建议每个集合的索引数尽量控制在5个以内。 （5） 对于包含多个键的查询，创建包含这些键的复合索引是个不错的解决方案。复合索引的键值顺序很重要，理解索引最左前缀原则。 解读：例如在test集合上创建组合索引{a:1,b:1,c:1}。执行以下7个查询语句： db.test.find({a:”hello”}) // 1 db.test.find({b:”sogo”, a:”hello”}) // 2 db.test.find({a:”hello”,b:”sogo”, c:”666”}) // 3 db.test.find({c:”666”, a:”hello”}) // 4 db.test.find({b:”sogo”, c:”666”}) // 5 db.test.find({b:”sogo” }) // 6 db.test.find({c:”666”}) // 7 以上查询语句可能走索引的是1、2、3、4 查询应包含最左索引字段，以索引创建顺序为准，与查询字段顺序无关。 最少索引覆盖最多查询。 （6） TTL 索引（time-to-live index，具有生命周期的索引），使用TTL索引可以将超时时间的文档老化，一个文档到达老化的程度之后就会被删除。 解读：创建TTL的索引必须是日期类型。TTL索引是一种单字段索引，不能是复合索引。TTL删除文档后台线程每60s移除失效文档。不支持定长集合。 （7） 需要在集合中某字段创建索引，但集合中大量的文档不包含此键值时，建议创建稀疏索引。 解读：索引默认是密集型的，这意味着，即使文档的索引字段缺失，在索引中也存在着一个对应关系。在稀疏索引中，只有包含了索引键值的文档才会出现。 （8） 创建文本索引时字段指定text，而不是1或者-1。每个集合只有一个文本索引，但是它可以为任意多个字段建立索引。 解读：文本搜索速度快很多，推荐使用文本索引替代对集合文档的多字段的低效查询。 （9） 使用findOne在数据库中查询匹配多个项目，它就会在自然排序文件集合中返回第一个项目。如果需要返回多个文档，则使用find方法。 （10） 如果查询无需返回整个文档或只是用来判断键值是否存在，可以通过投影（映射）来限制返回字段，减少网络流量和客户端的内存使用。 解读：既可以通过设置{key:1}来显式指定返回的字段，也可以设置{key:0}指定需要排除的字段。 （11） 除了前缀样式查询，正则表达式查询不能使用索引，执行的时间比大多数选择器更长，应节制性地使用它们。 （12） 在聚合运算中，$要在match要在$group前面，通过$前置，可以减少match前置，可以减少$ group 操作符要处理的文档数量。 （13） 通过操作符对文档进行修改，通常可以获得更好的性能，因为，不需要往返服务器来获取并修改文档数据，可以在序列化和传输数据上花费更少的时间。 （14） 批量插入（batchInsert）可以减少数据向服务器的提交次数，提高性能。但是批量提交的BSON Size不超过48MB。 （15） 禁止一次取出太多的数据进行排序，MongoDB目前支持对32M以内的结果集进行排序。如果需要排序，请尽量限制结果集中的数据量。 （16） 查询中的某些$操作符可能会导致性能低下，如操作符可能会导致性能低下，如$ne，$，not，$exists，$nin，$or尽量在业务中不要使用。 a) $exist:因为松散的文档结构导致查询必须遍历每一个文档； b) $ne:如果当取反的值为大多数，则会扫描整个索引； c) $not:可能会导致查询优化器不知道应当使用哪个索引，所以会经常退化为全表扫描； d) $nin:全表扫描； e) \$有多个条件就会查询多少次，最后合并结果集，应该考虑装换为or:有多个条件就会查询多少次，最后合并结果集，应该考虑装换为$in。 （17） 固定集合可以用于记录日志，其插入数据更快，可以实现在插入数据时，淘汰最早的数据。需求分析和设计时，可考虑此特性，即提高了性能，有省去了删除动作。 解读：固定集合需要显式创建，指定Size的大小，还能够指定文档的数量。集合不管先达到哪一个限制，之后插入的新文档都会把最老的文档移出。 （18） 集合中文档的数据量会影响查询性能，为保持适量，需要定期归档。
