Flask篇：数据库连接池、flask信号、flask-script、local对象、偏函数

一、数据库连接池

# flask 可以使用pymysql操作数据库

1.1 如果把conn做成全局

多个线程使用同一个链接对象，会导致数据错乱

1.2 如果在每个视图函数中建立链接

每个线程使用一个连接，会导致mysql连接数过大

1.3 借助于第三方模块dbutils，实现数据库连接池

pip3 install dbutils
# https://www.cnblogs.com/liuqingzheng/articles/9006055.html

pool.py

from dbutils.pooled_db import PooledDB
import pymysql

POOL=PooledDB(
    creator=pymysql,  # 使用链接数据库的模块
    maxconnections=6,  # 连接池允许的最大连接数，0和None表示不限制连接数
    mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
    maxcached=5,  # 链接池中最多闲置的链接，0和None不限制
    maxshared=3,  # 链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。
    blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
    maxusage=None,  # 一个链接最多被重复使用的次数，None表示无限制
    setsession=[],  # 开始会话前执行的命令列表。
    ping=0,
    # ping MySQL服务端，检查是否服务可用。
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='luffy_api',
    charset='utf8'
)

flask测试

from flask import Flask
# import pymysql
from pool import POOL
import pymysql
app = Flask(__name__)


# 定义在外面，全局conn，cursor,会出现数据错乱，正常情况应该放在视图函数内部建立链接，但是会影响性能，所有需要建立数据库连接池
# conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
# cursor = conn.cursor()


@app.route('/banner')
def banner():
    # 从池中拿链接，创建出cursor对象
    # conn = POOL.connection()
    # cursor = conn.cursor()
    conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
    cursor = conn.cursor()
    cursor.execute('select * from luffy_banner')
    print(cursor.fetchall())
    return 'hello'


@app.route('/order')
def order():
    # 从池中拿链接，创建出cursor对象
    # conn = POOL.connection()
    # cursor = conn.cursor()

    conn = pymysql.connect(host='127.0.0.1', port=3306, database='luffy_api', user='root', password='123')
    cursor = conn.cursor()
    cursor.execute('select * from luffy_order')
    print(cursor.fetchall())
    return 'hello'


if __name__ == '__main__':
    app.run()

压力测试

import requests
from threading import Thread


def task():
    res = requests.get('http://127.0.0.1:5000/banner')
    print(res.text)
    res = requests.get('http://127.0.0.1:5000/order')
    print(res.text)


# 查询目前有多少个mysql的客户端链接着mysql

if __name__ == '__main__':
    for i in range(10000):
        t = Thread(target=task)
        t.start()

1.4 补充：查看当前有多少个线程的连接数

# 查看当前有多个个连接数
show status like 'Threads%'

二、wtforms

2.1 wtforms的作用

混合的项目，django中学过forms：校验数据，渲染页面，flask中使用第三方wtfroms完成forms的功能

2.2 下载模块

    pip3 install wtforms

2.3 wtforms的使用

wtforms的使用.py

from flask import Flask,request,render_template

app = Flask(__name__)


from wtforms.fields import core
from wtforms import Form
from wtforms.fields import html5
from wtforms.fields import simple
from wtforms import validators
from wtforms import widgets


class LoginForm(Form):
    # 字段（内部包含正则表达式）
    name = simple.StringField(
        label='用户名',
        validators=[
            validators.DataRequired(message='用户名不能为空.'),
            validators.Length(min=6, max=18, message='用户名长度必须大于%(min)d且小于%(max)d')
        ],
        widget=widgets.TextInput(),  # 页面上显示的插件
        render_kw={'class': 'form-control'}

    )
    # 字段（内部包含正则表达式）
    pwd = simple.PasswordField(
        label='密码',
        validators=[
            validators.DataRequired(message='密码不能为空.'),
            validators.Length(min=8, message='用户名长度必须大于%(min)d'),
            validators.Regexp(regex="^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)(?=.*[$@$!%*?&])[A-Za-z\d$@$!%*?&]{8,}",
                              message='密码至少8个字符，至少1个大写字母，1个小写字母，1个数字和1个特殊字符')

        ],
        widget=widgets.PasswordInput(),
        render_kw={'class': 'form-control'}
    )




class RegisterForm(Form):
    name = simple.StringField(
        label='用户名',
        validators=[
            validators.DataRequired()
        ],
        widget=widgets.TextInput(),
        render_kw={'class': 'form-control'},
        default='alex'
    )

    pwd = simple.PasswordField(
        label='密码',
        validators=[
            validators.DataRequired(message='密码不能为空.')
        ],
        widget=widgets.PasswordInput(),
        render_kw={'class': 'form-control'}
    )

    pwd_confirm = simple.PasswordField(
        label='重复密码',
        validators=[
            validators.DataRequired(message='重复密码不能为空.'),
            validators.EqualTo('pwd', message="两次密码输入不一致")
        ],
        widget=widgets.PasswordInput(),
        render_kw={'class': 'form-control'}
    )

    email = html5.EmailField(
        label='邮箱',
        validators=[
            validators.DataRequired(message='邮箱不能为空.'),
            validators.Email(message='邮箱格式错误')
        ],
        widget=widgets.TextInput(input_type='email'),
        render_kw={'class': 'form-control'}
    )

    gender = core.RadioField(
        label='性别',
        choices=(
            (1, '男'),
            (2, '女'),
        ),
        coerce=int # “1” “2”
     )
    city = core.SelectField(
        label='城市',
        choices=(
            ('bj', '北京'),
            ('sh', '上海'),
        )
    )

    hobby = core.SelectMultipleField(
        label='爱好',
        choices=(
            (1, '篮球'),
            (2, '足球'),
        ),
        coerce=int
    )

    favor = core.SelectMultipleField(
        label='喜好',
        choices=(
            (1, '篮球'),
            (2, '足球'),
        ),
        widget=widgets.ListWidget(prefix_label=False),
        option_widget=widgets.CheckboxInput(),
        coerce=int,
        default=[1, 2]
    )

    def __init__(self, *args, **kwargs):
        super(RegisterForm, self).__init__(*args, **kwargs)
        self.favor.choices = ((1, '篮球'), (2, '足球'), (3, '羽毛球'))

    def validate_pwd_confirm(self, field):
        """
        自定义pwd_confirm字段规则，例：与pwd字段是否一致
        :param field:
        :return:
        """
        # 最开始初始化时，self.data中已经有所有的值

        if field.data != self.data['pwd']:
            # raise validators.ValidationError("密码不一致") # 继续后续验证
            raise validators.StopValidation("密码不一致")  # 不再继续后续验证

@app.route('/login',methods=['GET','POST'])
def login():
    if request.method == 'GET':
        form = LoginForm()
        return render_template('login.html', form=form)
    else:
        form = LoginForm(formdata=request.form)
        if form.validate():
            print('用户提交数据通过格式验证，提交的值为：', form.data)
        else:
            print(form.errors)
        return render_template('login.html', form=form)




@app.route('/register', methods=['GET', 'POST'])
def register():
    if request.method == 'GET':
        form = RegisterForm(data={'gender': 2,'hobby':[1,]}) # initial
        return render_template('register.html', form=form)
    else:
        form = RegisterForm(formdata=request.form)
        if form.validate():
            print('用户提交数据通过格式验证，提交的值为：', form.data)
        else:
            print(form.errors)
        return render_template('register.html', form=form)

if __name__ == '__main__':
    app.run()

login.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h1>登录</h1>
<form method="post">
    <p>{{form.name.label}} {{form.name}} {{form.name.errors[0] }}</p>

    <p>{{form.pwd.label}} {{form.pwd}} {{form.pwd.errors[0] }}</p>
    <input type="submit" value="提交">
</form>
</body>
</html>

register.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h1>用户注册</h1>
<form method="post" novalidate style="padding:0  50px">
    {% for field in form %}
    <p>{{field.label}}: {{field}} {{field.errors[0] }}</p>
    {% endfor %}
    <input type="submit" value="提交">
</form>
</body>
</html>

三、flask信号

拓展

# 并发编程学的锁：
	-互斥锁：Lock
    -递归锁(可重入锁):RLock,互斥锁会出现死锁现象
    -Semaphore：多把锁,信号量
    -event事件：某个条件完成成，线程执行


# 所有锁:https://zhuanlan.zhihu.com/p/489305763


# 什么是信号？
    flask 信号，signal翻译过来的

# django中，也有信号:
    https://www.cnblogs.com/liuqingzheng/articles/9803403.html

# 模块下载
    pip3 install blinker


# 某种情况下会触发某个函数执行----》aop理念，面向切面编程的理念
    -装饰器实现
    -魔法方法实现
    -其他方式
    
# 链式调用:
      编程的思维方法（java,js中使用很多），queryset对象
	-如何实现，方法执行结果返回当前对象
 	-对象.方法().方法().方法()

3.1 内置信号

request_started = _signals.signal('request-started')                # 请求到来前执行
request_finished = _signals.signal('request-finished')              # 请求结束后执行
 
before_render_template = _signals.signal('before-render-template')  # 模板渲染前执行
template_rendered = _signals.signal('template-rendered')            # 模板渲染后执行
 
got_request_exception = _signals.signal('got-request-exception')    # 请求执行出现异常时执行
 
request_tearing_down = _signals.signal('request-tearing-down')      # 请求执行完毕后自动执行（无论成功与否）
appcontext_tearing_down = _signals.signal('appcontext-tearing-down')# 应用上下文执行完毕后自动执行（无论成功与否）
 
appcontext_pushed = _signals.signal('appcontext-pushed')            # 应用上下文push时执行
appcontext_popped = _signals.signal('appcontext-popped')            # 应用上下文pop时执行
message_flashed = _signals.signal('message-flashed')                # 调用flask在其中添加数据时，自动触发

使用步骤

from flask import Flask, render_template
from flask import signals

app = Flask(__name__)


# 内置信号使用步骤
# 第一步：写个函数
def render_before(*args,**kwargs):
    print(args)
    print(kwargs)
    print('模板要渲染了')


# 第二步：跟信号绑定
signals.before_render_template.connect(render_before)


# 第三步：触发信号 （内置信号，会自动触发）
@app.route('/')
def index():
    print('index 执行了')
    return render_template('index.html', name='刘亦菲')


if __name__ == '__main__':
    app.run()

    
  '''使用步骤
  # 第一步：写个函数
  # 第二步：跟信号绑定
  # 第二步：触发信号
  
  '''

3.2 自定义信号

from flask import Flask, render_template,request
from flask import signals
from flask.signals import _signals

app = Flask(__name__)

# 第一步：定义信号
xxx = _signals.signal('xxx')

# 第二步：写个函数
def add(*args, **kwargs):
    print(args)
    print(kwargs)
    print('add执行了')

# 第三步：跟信号绑定
xxx.connect(add)

# 第四步：触发信号

@app.route('/')
def index():
    xxx.send(request=request)
    print('index 执行了')
    return render_template('index.html', name='刘亦菲')


if __name__ == '__main__':
    app.run()

    '''
    # 第一步：定义信号
    # 第二步：写个函数
    # 第三步：跟信号绑定
    # 第四步：触发信号
    
    '''

四、多app应用

顾名思义就是如何在一个py文件或者app项目中，支持多个app对象，具体如下；

# 只有一个app对象，一个flask项目，支持多个app对象的


from flask import Flask
from werkzeug.middleware.dispatcher import DispatcherMiddleware
from werkzeug.serving import run_simple
app1 = Flask('app01')
app2 = Flask('app02')

@app1.route('/index')
def index():
    return "app01"

@app2.route('/index2')
def index2():
    return "app2"

dm = DispatcherMiddleware(app1, {
    '/sec': app2,  # 相当于给app2加了各前缀，http://localhost:5000/sec/index2
})

if __name__ == "__main__":
    # 请求来了，会执行 dm()---->触发DispatcherMiddleware的__call__
    run_simple('localhost', 5000, dm)

五、flask-script自定义命令

5.1 引入

# djagno中执行djagno程序，通过命令：python3 manage.py runserver--->还有其他很多命令 
# django中自定制命令？
# 想让flask能够执行python3 manage.py runserver启动flask项目，自定制一些命令，完成更多操作，如何实现？

5.2 实现步骤

# 下载flask-script
pip3 install flask-script


# 代码示例
from flask import Flask
from flask_script import Manager
app = Flask('app01')


# 基本使用，多了runserver命令
manager=Manager(app)


# 高级使用：自定制命令 ---> python manage.py dbinit
# 方式一：@manager.command
@manager.command
def dbinit():
    """
    python manage.py dbinit
    """
    print("数据库初始化完成")


# 方式二：@manager.option
@manager.option('-n', '--name', dest='name')
@manager.option('-u', '--url', dest='url')
def cmd(name, url):
    """
    自定义命令（-n也可以写成--name）
    执行： python manage.py  cmd -n lqz -u xxx
    执行： python manage.py  cmd --name lqz --url yyy
    """
    print(name, url)

# 编一个功能，通过execl---》把execl的数据存同步到某个数据表中得命令

@app.route('/index')
def index():
    return "app01"


if __name__ == "__main__":
    # app.run()
    manager.run()

六、local对象

6.1 引入

flask 的request是全局的，但是每个视图函数其实是在一条线程中执行的，print(request.method),所有线程使用全局的request，但是没有出现数据错乱的问题，为什么？

local对象！

# java：ThreadLocal
# python threading.local

# local的本质
多个线程操作同一个 local对象，不用加锁，不会出现数据错乱问题
本质是：为每个线程独立设置一部分空间来存储数据
local={线程id号:{name:lqz},线程id号:{name:pyy}}

# 下面手写local，支持线程和协程

6.2 local对象的基本使用

# 1 多个线程操作同一个变量，导致的数据错乱（需要加锁解决）
from threading import Thread
import time
lqz = -1
def task(arg):
    global lqz
    lqz = arg
    time.sleep(2)
    print(lqz)

for i in range(10):
    t = Thread(target=task, args=(i,))
    t.start()

# 2 使用local对象解决
from threading import Thread
from threading import local
import time
from threading import get_ident
# 特殊的对象
lqz = local()
def task(arg):
    # 对象.val = 1/2/3/4/5
    lqz.value = arg
    time.sleep(2)
    print(lqz.value)
for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()

6.3 自定义local对象

# 1 自定义local---1
from threading import get_ident,Thread
import time
storage = {}
def set(k,v):
    ident = get_ident()  # 获取线程id号
    if ident in storage:
        storage[ident][k] = v
    else:
        storage[ident] = {k:v}

# val : 0----->{线程id号：{val:0},线程id号：{val:1},线程id号：{val:2}}
def get(k):
    ident = get_ident()
    return storage[ident][k]

def task(arg):
    set('val',arg)
    v = get('val')
    print(v)

for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()


# 2 自定义local---2
from threading import get_ident,Thread
import time
class Local(object):
    storage = {}
    def set(self, k, v):
        ident = get_ident()
        if ident in Local.storage:
            Local.storage[ident][k] = v
        else:
            Local.storage[ident] = {k: v}
    def get(self, k):
        ident = get_ident()
        return Local.storage[ident][k]
obj = Local()
def task(arg):
    obj.set('val',arg)
    v = obj.get('val')
    print(v)
for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()


# 3 自定义local---3,面向对象版本，把set和get使用魔法方法重写---》__setattr__，__getattr__
from threading import get_ident,Thread
import time
class Local(object):
    storage = {}
    def __setattr__(self, k, v):
        ident = get_ident()
        if ident in Local.storage:
            Local.storage[ident][k] = v
        else:
            Local.storage[ident] = {k: v}
    def __getattr__(self, k):
        ident = get_ident()
        return Local.storage[ident][k]
obj = Local()
def task(arg):
    obj.val = arg
    print(obj.val)
for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()


# 4 终极local对象
from threading import get_ident,Thread
import time
class Local(object):
    def __init__(self):
        object.__setattr__(self,'storage',{})
        # self.storage={}
    def __setattr__(self, k, v):
        ident = get_ident()
        if ident in self.storage:
            self.storage[ident][k] = v
        else:
            self.storage[ident] = {k: v}
    def __getattr__(self, k):
        ident = get_ident()
        return self.storage[ident][k]
obj = Local()
def task(arg):
    obj.val = arg
    time.sleep(1)
    print(obj.val)
for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()


# 5 支持线程和协程的local对象
try:
    from greenlet import getcurrent as get_ident
except Exception as e:
    from threading import get_ident
from threading import Thread
import time
class Local(object):
    def __init__(self):
        object.__setattr__(self,'storage',{})
    def __setattr__(self, k, v):
        ident = get_ident()
        if ident in self.storage:
            self.storage[ident][k] = v
        else:
            self.storage[ident] = {k: v}
    def __getattr__(self, k):
        ident = get_ident()
        return self.storage[ident][k]
obj = Local()
def task(arg):
    obj.val = arg
    print(obj.val)
for i in range(10):
    t = Thread(target=task,args=(i,))
    t.start()

七、偏函数

7.1 概念

在python中，如果在设置某个函数的时候需要把函数的某个参数设置为固定的值，就可以使用偏函数来实现

7.2 如何使用

from functools import partial


def add(a,b,c):
    return a+b+c

# res=add(2,3,4)
# print(res) -> 9

# 使用偏函数,为要包裹的函数，提前传值
add=partial(add,2)
print(add(3,4))  # -> 9

八、pipreqs模块：导出当前项目所有依赖

# 导出所有依赖
    -虚拟环境中：pip freeze > req.txt   所有的依赖都导出来


# 导出项目所有依赖
    -借助于第三方模块
    pip3.8 install pipreqs
    pipreqs ./ --encoding='utf-8'  # 导出

    pip3 install -r requirements.txt  # 下载安装

posted @ 2022-08-10 18:35 马氵寿阅读(75) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部