Flask篇:数据库连接池、flask信号、flask-script、local对象、偏函数
目录
一、数据库连接池
# flask 可以使用pymysql操作数据库
1.1 如果把conn做成全局
多个线程使用同一个链接对象,会导致数据错乱
1.2 如果在每个视图函数中建立链接
每个线程使用一个连接,会导致mysql连接数过大
1.3 借助于第三方模块dbutils,实现数据库连接池
pip3 install dbutils
# https://www.cnblogs.com/liuqingzheng/articles/9006055.html
pool.py
from dbutils.pooled_db import PooledDB
import pymysql
POOL=PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=3, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。
ping=0,
# ping MySQL服务端,检查是否服务可用。
host='127.0.0.1',
port=3306,
user='root',
password='123',
database='luffy_api',
charset='utf8'
)
flask测试
from flask import Flask
# import pymysql
from pool import POOL
import pymysql
app = Flask(__name__)
# 定义在外面,全局conn,cursor,会出现数据错乱,正常情况应该放在视图函数内部建立链接,但是会影响性能,所有需要建立数据库连接池
# conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
# cursor = conn.cursor()
@app.route('/banner')
def banner():
# 从池中拿链接,创建出cursor对象
# conn = POOL.connection()
# cursor = conn.cursor()
conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
cursor = conn.cursor()
cursor.execute('select * from luffy_banner')
print(cursor.fetchall())
return 'hello'
@app.route('/order')
def order():
# 从池中拿链接,创建出cursor对象
# conn = POOL.connection()
# cursor = conn.cursor()
conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
cursor = conn.cursor()
cursor.execute('select * from luffy_order')
print(cursor.fetchall())
return 'hello'
if __name__ == '__main__':
app.run()
压力测试
import requests
from threading import Thread
def task():
res = requests.get('http://127.0.0.1:5000/banner')
print(res.text)
res = requests.get('http://127.0.0.1:5000/order')
print(res.text)
# 查询目前有多少个mysql的客户端链接着mysql
if __name__ == '__main__':
for i in range(10000):
t = Thread(target=task)
t.start()
1.4 补充:查看当前有多少个线程的连接数
# 查看当前有多个个连接数
show status like 'Threads%'
二、wtforms
2.1 wtforms的作用
混合的项目,django中学过forms:校验数据,渲染页面,flask中使用第三方wtfroms完成forms的功能
2.2 下载模块
pip3 install wtforms
2.3 wtforms的使用
wtforms的使用.py
from flask import Flask,request,render_template
app = Flask(__name__)
from wtforms.fields import core
from wtforms import Form
from wtforms.fields import html5
from wtforms.fields import simple
from wtforms import validators
from wtforms import widgets
class LoginForm(Form):
# 字段(内部包含正则表达式)
name = simple.StringField(
label='用户名',
validators=[
validators.DataRequired(message='用户名不能为空.'),
validators.Length(min=6, max=18, message='用户名长度必须大于%(min)d且小于%(max)d')
],
widget=widgets.TextInput(), # 页面上显示的插件
render_kw={'class': 'form-control'}
)
# 字段(内部包含正则表达式)
pwd = simple.PasswordField(
label='密码',
validators=[
validators.DataRequired(message='密码不能为空.'),
validators.Length(min=8, message='用户名长度必须大于%(min)d'),
validators.Regexp(regex="^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)(?=.*[$@$!%*?&])[A-Za-z\d$@$!%*?&]{8,}",
message='密码至少8个字符,至少1个大写字母,1个小写字母,1个数字和1个特殊字符')
],
widget=widgets.PasswordInput(),
render_kw={'class': 'form-control'}
)
class RegisterForm(Form):
name = simple.StringField(
label='用户名',
validators=[
validators.DataRequired()
],
widget=widgets.TextInput(),
render_kw={'class': 'form-control'},
default='alex'
)
pwd = simple.PasswordField(
label='密码',
validators=[
validators.DataRequired(message='密码不能为空.')
],
widget=widgets.PasswordInput(),
render_kw={'class': 'form-control'}
)
pwd_confirm = simple.PasswordField(
label='重复密码',
validators=[
validators.DataRequired(message='重复密码不能为空.'),
validators.EqualTo('pwd', message="两次密码输入不一致")
],
widget=widgets.PasswordInput(),
render_kw={'class': 'form-control'}
)
email = html5.EmailField(
label='邮箱',
validators=[
validators.DataRequired(message='邮箱不能为空.'),
validators.Email(message='邮箱格式错误')
],
widget=widgets.TextInput(input_type='email'),
render_kw={'class': 'form-control'}
)
gender = core.RadioField(
label='性别',
choices=(
(1, '男'),
(2, '女'),
),
coerce=int # “1” “2”
)
city = core.SelectField(
label='城市',
choices=(
('bj', '北京'),
('sh', '上海'),
)
)
hobby = core.SelectMultipleField(
label='爱好',
choices=(
(1, '篮球'),
(2, '足球'),
),
coerce=int
)
favor = core.SelectMultipleField(
label='喜好',
choices=(
(1, '篮球'),
(2, '足球'),
),
widget=widgets.ListWidget(prefix_label=False),
option_widget=widgets.CheckboxInput(),
coerce=int,
default=[1, 2]
)
def __init__(self, *args, **kwargs):
super(RegisterForm, self).__init__(*args, **kwargs)
self.favor.choices = ((1, '篮球'), (2, '足球'), (3, '羽毛球'))
def validate_pwd_confirm(self, field):
"""
自定义pwd_confirm字段规则,例:与pwd字段是否一致
:param field:
:return:
"""
# 最开始初始化时,self.data中已经有所有的值
if field.data != self.data['pwd']:
# raise validators.ValidationError("密码不一致") # 继续后续验证
raise validators.StopValidation("密码不一致") # 不再继续后续验证
@app.route('/login',methods=['GET','POST'])
def login():
if request.method == 'GET':
form = LoginForm()
return render_template('login.html', form=form)
else:
form = LoginForm(formdata=request.form)
if form.validate():
print('用户提交数据通过格式验证,提交的值为:', form.data)
else:
print(form.errors)
return render_template('login.html', form=form)
@app.route('/register', methods=['GET', 'POST'])
def register():
if request.method == 'GET':
form = RegisterForm(data={'gender': 2,'hobby':[1,]}) # initial
return render_template('register.html', form=form)
else:
form = RegisterForm(formdata=request.form)
if form.validate():
print('用户提交数据通过格式验证,提交的值为:', form.data)
else:
print(form.errors)
return render_template('register.html', form=form)
if __name__ == '__main__':
app.run()
login.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<h1>登录</h1>
<form method="post">
<p>{{form.name.label}} {{form.name}} {{form.name.errors[0] }}</p>
<p>{{form.pwd.label}} {{form.pwd}} {{form.pwd.errors[0] }}</p>
<input type="submit" value="提交">
</form>
</body>
</html>
register.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<h1>用户注册</h1>
<form method="post" novalidate style="padding:0 50px">
{% for field in form %}
<p>{{field.label}}: {{field}} {{field.errors[0] }}</p>
{% endfor %}
<input type="submit" value="提交">
</form>
</body>
</html>
三、flask信号
拓展
# 并发编程学的锁:
-互斥锁:Lock
-递归锁(可重入锁):RLock,互斥锁会出现死锁现象
-Semaphore:多把锁,信号量
-event事件:某个条件完成成,线程执行
# 所有锁:https://zhuanlan.zhihu.com/p/489305763
# 什么是信号?
flask 信号,signal翻译过来的
# django中,也有信号:
https://www.cnblogs.com/liuqingzheng/articles/9803403.html
# 模块下载
pip3 install blinker
# 某种情况下会触发某个函数执行----》aop理念,面向切面编程的理念
-装饰器实现
-魔法方法实现
-其他方式
# 链式调用:
编程的思维方法(java,js中使用很多),queryset对象
-如何实现,方法执行结果返回当前对象
-对象.方法().方法().方法()
3.1 内置信号
request_started = _signals.signal('request-started') # 请求到来前执行
request_finished = _signals.signal('request-finished') # 请求结束后执行
before_render_template = _signals.signal('before-render-template') # 模板渲染前执行
template_rendered = _signals.signal('template-rendered') # 模板渲染后执行
got_request_exception = _signals.signal('got-request-exception') # 请求执行出现异常时执行
request_tearing_down = _signals.signal('request-tearing-down') # 请求执行完毕后自动执行(无论成功与否)
appcontext_tearing_down = _signals.signal('appcontext-tearing-down')# 应用上下文执行完毕后自动执行(无论成功与否)
appcontext_pushed = _signals.signal('appcontext-pushed') # 应用上下文push时执行
appcontext_popped = _signals.signal('appcontext-popped') # 应用上下文pop时执行
message_flashed = _signals.signal('message-flashed') # 调用flask在其中添加数据时,自动触发
使用步骤
from flask import Flask, render_template
from flask import signals
app = Flask(__name__)
# 内置信号使用步骤
# 第一步:写个函数
def render_before(*args,**kwargs):
print(args)
print(kwargs)
print('模板要渲染了')
# 第二步:跟信号绑定
signals.before_render_template.connect(render_before)
# 第三步:触发信号 (内置信号,会自动触发)
@app.route('/')
def index():
print('index 执行了')
return render_template('index.html', name='刘亦菲')
if __name__ == '__main__':
app.run()
'''使用步骤
# 第一步:写个函数
# 第二步:跟信号绑定
# 第二步:触发信号
'''
3.2 自定义信号
from flask import Flask, render_template,request
from flask import signals
from flask.signals import _signals
app = Flask(__name__)
# 第一步:定义信号
xxx = _signals.signal('xxx')
# 第二步:写个函数
def add(*args, **kwargs):
print(args)
print(kwargs)
print('add执行了')
# 第三步:跟信号绑定
xxx.connect(add)
# 第四步:触发信号
@app.route('/')
def index():
xxx.send(request=request)
print('index 执行了')
return render_template('index.html', name='刘亦菲')
if __name__ == '__main__':
app.run()
'''
# 第一步:定义信号
# 第二步:写个函数
# 第三步:跟信号绑定
# 第四步:触发信号
'''
四、多app应用
顾名思义就是如何在一个py文件或者app项目中,支持多个app对象,具体如下;
# 只有一个app对象,一个flask项目,支持多个app对象的
from flask import Flask
from werkzeug.middleware.dispatcher import DispatcherMiddleware
from werkzeug.serving import run_simple
app1 = Flask('app01')
app2 = Flask('app02')
@app1.route('/index')
def index():
return "app01"
@app2.route('/index2')
def index2():
return "app2"
dm = DispatcherMiddleware(app1, {
'/sec': app2, # 相当于给app2加了各前缀,http://localhost:5000/sec/index2
})
if __name__ == "__main__":
# 请求来了,会执行 dm()---->触发DispatcherMiddleware的__call__
run_simple('localhost', 5000, dm)
五、flask-script自定义命令
5.1 引入
# djagno中执行djagno程序,通过命令:python3 manage.py runserver--->还有其他很多命令
# django中自定制命令?
# 想让flask能够执行python3 manage.py runserver启动flask项目,自定制一些命令,完成更多操作,如何实现?
5.2 实现步骤
# 下载flask-script
pip3 install flask-script
# 代码示例
from flask import Flask
from flask_script import Manager
app = Flask('app01')
# 基本使用,多了runserver命令
manager=Manager(app)
# 高级使用:自定制命令 ---> python manage.py dbinit
# 方式一:@manager.command
@manager.command
def dbinit():
"""
python manage.py dbinit
"""
print("数据库初始化完成")
# 方式二:@manager.option
@manager.option('-n', '--name', dest='name')
@manager.option('-u', '--url', dest='url')
def cmd(name, url):
"""
自定义命令(-n也可以写成--name)
执行: python manage.py cmd -n lqz -u xxx
执行: python manage.py cmd --name lqz --url yyy
"""
print(name, url)
# 编一个功能,通过execl---》把execl的数据存同步到某个数据表中得命令
@app.route('/index')
def index():
return "app01"
if __name__ == "__main__":
# app.run()
manager.run()
六、local对象
6.1 引入
flask 的request是全局的,但是每个视图函数其实是在一条线程中执行的,print(request.method),所有线程使用全局的request,但是没有出现数据错乱的问题,为什么?
local对象!
# java:ThreadLocal
# python threading.local
# local的本质
多个线程操作同一个 local对象,不用加锁,不会出现数据错乱问题
本质是:为每个线程独立设置一部分空间来存储数据
local={线程id号:{name:lqz},线程id号:{name:pyy}}
# 下面手写local,支持线程和协程
6.2 local对象的基本使用
# 1 多个线程操作同一个变量,导致的数据错乱(需要加锁解决)
from threading import Thread
import time
lqz = -1
def task(arg):
global lqz
lqz = arg
time.sleep(2)
print(lqz)
for i in range(10):
t = Thread(target=task, args=(i,))
t.start()
# 2 使用local对象解决
from threading import Thread
from threading import local
import time
from threading import get_ident
# 特殊的对象
lqz = local()
def task(arg):
# 对象.val = 1/2/3/4/5
lqz.value = arg
time.sleep(2)
print(lqz.value)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
6.3 自定义local对象
# 1 自定义local---1
from threading import get_ident,Thread
import time
storage = {}
def set(k,v):
ident = get_ident() # 获取线程id号
if ident in storage:
storage[ident][k] = v
else:
storage[ident] = {k:v}
# val : 0----->{线程id号:{val:0},线程id号:{val:1},线程id号:{val:2}}
def get(k):
ident = get_ident()
return storage[ident][k]
def task(arg):
set('val',arg)
v = get('val')
print(v)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
# 2 自定义local---2
from threading import get_ident,Thread
import time
class Local(object):
storage = {}
def set(self, k, v):
ident = get_ident()
if ident in Local.storage:
Local.storage[ident][k] = v
else:
Local.storage[ident] = {k: v}
def get(self, k):
ident = get_ident()
return Local.storage[ident][k]
obj = Local()
def task(arg):
obj.set('val',arg)
v = obj.get('val')
print(v)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
# 3 自定义local---3,面向对象版本,把set和get使用魔法方法重写---》__setattr__,__getattr__
from threading import get_ident,Thread
import time
class Local(object):
storage = {}
def __setattr__(self, k, v):
ident = get_ident()
if ident in Local.storage:
Local.storage[ident][k] = v
else:
Local.storage[ident] = {k: v}
def __getattr__(self, k):
ident = get_ident()
return Local.storage[ident][k]
obj = Local()
def task(arg):
obj.val = arg
print(obj.val)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
# 4 终极local对象
from threading import get_ident,Thread
import time
class Local(object):
def __init__(self):
object.__setattr__(self,'storage',{})
# self.storage={}
def __setattr__(self, k, v):
ident = get_ident()
if ident in self.storage:
self.storage[ident][k] = v
else:
self.storage[ident] = {k: v}
def __getattr__(self, k):
ident = get_ident()
return self.storage[ident][k]
obj = Local()
def task(arg):
obj.val = arg
time.sleep(1)
print(obj.val)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
# 5 支持线程和协程的local对象
try:
from greenlet import getcurrent as get_ident
except Exception as e:
from threading import get_ident
from threading import Thread
import time
class Local(object):
def __init__(self):
object.__setattr__(self,'storage',{})
def __setattr__(self, k, v):
ident = get_ident()
if ident in self.storage:
self.storage[ident][k] = v
else:
self.storage[ident] = {k: v}
def __getattr__(self, k):
ident = get_ident()
return self.storage[ident][k]
obj = Local()
def task(arg):
obj.val = arg
print(obj.val)
for i in range(10):
t = Thread(target=task,args=(i,))
t.start()
七、偏函数
7.1 概念
在python中,如果在设置某个函数的时候需要把函数的某个参数设置为固定的值,就可以使用偏函数来实现
7.2 如何使用
from functools import partial
def add(a,b,c):
return a+b+c
# res=add(2,3,4)
# print(res) -> 9
# 使用偏函数,为要包裹的函数,提前传值
add=partial(add,2)
print(add(3,4)) # -> 9
八、pipreqs模块:导出当前项目所有依赖
# 导出所有依赖
-虚拟环境中:pip freeze > req.txt 所有的依赖都导出来
# 导出项目所有依赖
-借助于第三方模块
pip3.8 install pipreqs
pipreqs ./ --encoding='utf-8' # 导出
pip3 install -r requirements.txt # 下载安装