数据库连接池、flask定制命令、flask-cache缓存、信号

flask操作mysql

from flask import Flask, jsonify
import pymysql

app = Flask(__name__)
app.debug = True

# 拿到mysql链接对象
conn = pymysql.connect(host='127.0.0.1', user='root', password='199721', database='jh1', port=3306, autocommit=False)
cursor = conn.cursor(pymysql.cursors.DictCursor)


@app.route('/')
def index():
    # 执行sql
    sql = "select * from author where  id >%s"
    cursor.execute(sql, 1)
    res = cursor.fetchall()
    print(res)
    return jsonify(res)
    # return 'Hello World!'


if __name__ == '__main__':
    app.run()

 

 并发情况下又问题：使用全局的链接对象  ---》数据安全问题

 上述解决办法，但是每个视图函数中创建一个链接对象  数据库链接数过多

@app.route('/')
def index():
    conn = pymysql.connect(
        user='root',
        password="199721",
        host='127.0.0.1',
        database='jh1',
        port=3306,
        autocommit=False)
    cursor = conn.cursor(pymysql.cursors.DictCursor)
    sql = 'select * from author where id >%s'
    cursor.execute(sql, 1)
    res = cursor.fetchall()
    print(res)
    return jsonify(res)

@app.route('/home')
def home():
    conn = pymysql.connect(
        user='root',
        password="199721",
        host='127.0.0.1',
        database='blog',
        port=3306,
        autocommit=False)
    cursor = conn.cursor(pymysql.cursors.DictCursor)
    sql = 'select * from book where id >%s'
    cursor.execute(sql, 1)
    res = cursor.fetchall()
    print(res)
    return jsonify(res)

 

数据库连接池

　　#1 先创建出一批链接，每个请求从池中取链接操作
　　　　-每个请求用自己的链接对象
　　　　-又有池的存在
　　　　-数据并发安全，并且链接数不会过高
　　#2 dbutils模块，实现数据库连接池

# 安装 pip install dbutils
# 使用：实例化得到一个池对象---》池是单例
from dbutils.pooled_db import PooledDB
import pymysql

POOL = PooledDB(
    creator=pymysql,  # 使用链接数据库的模块
    maxconnections=6,  # 连接池允许的最大连接数，0和None表示不限制连接数
    mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建
    maxcached=5,  # 链接池中最多闲置的链接，0和None不限制
    maxshared=3,
    # 链接池中最多共享的链接数量，0和None表示全部共享。PS: 无用，因为pymysql和MySQLdb等模块的 threadsafety都为1，所有值无论设置为多少，_maxcached永远为0，所以永远是所有链接都共享。
    blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错
    maxusage=None,  # 一个链接最多被重复使用的次数，None表示无限制
    setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='199721',
    database='jh1',
    charset='utf8'
)

----------------------------------------------------------------------------
然后引入使用

from flask import Flask, jsonify
import pymysql
from pool import POOL

app = Flask(__name__)
app.debug = True


# 创建数据库连接池
@app.route('/')
def index():
    # 获取连接
    conn = POOL.connection()
    cursor = conn.cursor(pymysql.cursors.DictCursor)
    # 执行sql
    sql = "select * from author where  id >%s"
    cursor.execute(sql, 1)
    res = cursor.fetchall()
    print(res)
    return jsonify(res)


if __name__ == '__main__':
    app.run()

测试

import requests
from threading import Thread


# 没有连接池
def task():
    # res = requests.get('http://127.0.0.1:5000/tag_no') # 没有池
    res = requests.get('http://127.0.0.1:5000/tag')  # 有池
    print(res.json())


if __name__ == '__main__':
    l = []
    for i in range(100):
        t = Thread(target=task)
        t.start()
        l.append(t)

    for i in l:
        i.join()

'''
效果是：
    使用池的连接数明显小
    不使用池连接数明显很大
    查看数据库连接数
    show status like '%Threads%';
 1. 查看  Threads_connected 参数
 2.使用了池明显比不用池慢
    -因为池太小了---》每个链接耗费时间久---》同一时刻只能有6个在执行--》速度慢
'''

 

。

。

flask定制命令

使用 flask-script定制命令(老版本，不用了)

# flask 老版本中，没有命令运行项目，自定制命令

# flask-script 解决了这个问题：flask项目可以通过命令运行，可以定制命令  1.x  2.x

# 新版的flask--》官方支持定制命令  click 定制命令，这个模块就弃用了  2.x 3.x 

# flask-migrate 老版本基于flask-script，新版本基于flask-click写的

### 使用步骤
    -1 pip3 install  Flask-Script==2.0.3
    -2 pip3 install flask
    -3 pip3 install markupsafe
    -4 使用
    from flask_script import Manager
    manager = Manager(app)
    if __name__ == '__main__':
        manager.run()
    -5 自定制命令
    @manager.command
    def custom(arg):
        """自定义命令
        python manage.py custom 123
        """
        print(arg)
        
    - 6 执行自定制命令
    python manage.py custom 123

 

新版本定制命令

from flask import Flask
import click

app = Flask(__name__)


@app.cli.command("create-user")
# 传参数命令
@click.argument("name")
def create_user(name):
    # from pool import POOL
    # conn=POOL.connection()
    # cursor=conn.cursor()
    # cursor.excute('insert into user (username,password) values (%s,%s)',args=[name,'123456'])
    # conn.commit()
    print(name)

@app.cli.command('export_table')
　　@click.argument('table_name')
def create_user(table_name):
　　print(table_name) # 把指定的表名导出成json格式

　　
　　@app.cli.command('import_excel')
　　@click.argument('excel_path')
　　@click.argument('table_name')
　　def create_user(excel_path,table_name):
　　　　...

@app.route('/')
def index():
    return 'index'


if __name__ == '__main__':
    app.run()

# 运行项目的命令是：flask --app py文件名字:app run
# 命令行中执行
# flask --app 23-flask命令:app create-user jh
# 简写成 前提条件是 app所在的py文件名字叫 app.py
# flask create-user jh

django中自定制命令

# 1 app下新建文件夹
    management/commands/
# 2 在该文件夹下新建py文件，随便命名（命令名）

# 3 在py文件中写代码
from django.core.management.base import BaseCommand
class Command(BaseCommand):
    help = '命令提示'

    def add_arguments(self, parser):
        parser.add_argument('path', nargs='*', type=str,)

    def handle(self, *args, **kwargs):
        print('开始导入')
        print(args)
        print(kwargs)
# 4 使用命令
python manage.py  py文件(命令名)

。

。

flask-cache（缓存）

from flask_caching import Cache
from flask import Flask

config = {
    "DEBUG": True,  # some Flask specific configs
    "CACHE_TYPE": "SimpleCache",  # Flask-Caching related configs ,可以缓存到redis
    "CACHE_DEFAULT_TIMEOUT": 300
}
app = Flask(__name__)
app.config.from_mapping(config)
cache = Cache(app)


@app.route('/')
def index():
    cache.set('name', 'xxx')
    return 'index'


@app.route('/get')
def get():
    res = cache.get('name')
    return res


if __name__ == '__main__':
    app.run()

扩展

# 1 跨域 flask-cors
# 2 jwt flask-jwt
# 3 后台管理admin flask-admin
# 4 前后端分离resful flask-resful

。

。

信号

信号是什么

# 1 Flask框架中的信号基于blinker，其主要就是让开发者可以在flask请求过程中定制一些用户行为
# 2 信号是典型的 观察者模式
    -触发某个事执行【模板准备渲染】
    -绑定信号：可以绑定多个
        只要模板准备渲染--》就会执行这几个绑定的新--》函数
        
        
# 3 面向切面编程(AOP)--》一种方案
    -整个程序正常运行，但是我们可以把一部分代码，插入到某个位置执行
    -钩子函数：只要写了，程序走到哪，就会执行，没写，就不会执行
        -序列化类的校验
    
# 4 通过信号可以做什么事？
    -在框架整个执行过程中，插入一些代码执行
        比如：记录某个页面的访问量
        比如：每次渲染 login.html --->都记录日志
        比如：程序出异常---》记录日志
        比如：用户表中有个用户创建--》给这个用户发点短信
        比如：用户下了订单---》发个邮件通知，让它尽快付款
        
        比如：轮播图表只要发生变化，就删缓存：django中内置信号

 

flask中内置信号的使用

###1 flask中内置信号
request_started = _signals.signal('request-started')                # 请求到来前执行
request_finished = _signals.signal('request-finished')              # 请求结束后执行
 
before_render_template = _signals.signal('before-render-template')  # 模板渲染前执行
template_rendered = _signals.signal('template-rendered')            # 模板渲染后执行
 
got_request_exception = _signals.signal('got-request-exception')    # 请求执行出现异常时执行
 
request_tearing_down = _signals.signal('request-tearing-down')      # 请求执行完毕后自动执行（无论成功与否）
appcontext_tearing_down = _signals.signal('appcontext-tearing-down')# 应用上下文执行完毕后自动执行（无论成功与否）
 
appcontext_pushed = _signals.signal('appcontext-pushed')            # 应用上下文push时执行
appcontext_popped = _signals.signal('appcontext-popped')            # 应用上下文pop时执行
message_flashed = _signals.signal('message-flashed')                # 调用flask在其中添加数据时，自动触发


###2 绑定内置信号，当程序执行到信号位置，就执行我们的函数

### 3 信号和请求扩展的关系
    -有的信号可以完成之前在请求扩展中完成的事
    -但他们机制不一样
    -信号更丰富

案例

from flask import Flask,render_template,signals
app = Flask(__name__)
app.debug=True
###### 内置信号使用---》当模板渲染前[index.html]--》记录日志
# 1 写一个函数
def func1(*args,**kwargs):
    print('模板渲染了')
    print(args)
    print(kwargs.get('template').name) # 拿到模板名
    if 'index.html' == kwargs.get('template').name:
        print('记日志了')
    # from jinja2.environment import Template
# 2 跟内置信号绑定
signals.before_render_template.connect(func1)
# 3 等待触发(自动)


@app.route('/<string:name>')
def index(name):
    return render_template('index.html',name=name)

@app.route('/login')
def login():
    return render_template('login.html')

if __name__ == '__main__':
    app.run()

 

自定义信号

# 步骤

# 0 定义一个自定义信号

# 1 写一个函数

# 2 跟内置信号绑定​

# 3 等待触发(手动)-->只要blog_tag 插入一条记录，就触发

from flask import Flask, render_template, request
from flask.signals import _signals
import pymysql
from pool import POOL
import pymysql

app = Flask(__name__)
app.debug = True
###### 自定义信号
# 0 定义一个自定义信号
create_user = _signals.signal('create_user')


# 1 写一个函数
def func1(*args, **kwargs):
    print('自定义信号执行了')
    if kwargs.get('table_name') == 'blog_tag':
        print('记录日志，blog_tag增加了')
        print(args)
        print(kwargs)


# 2 跟内置信号绑定
create_user.connect(func1)


# 3 等待触发(手动)-->只要blog_tag 插入一条记录，就触发
def insert_data(sql, table_name, *args):
    create_user.send(table_name=table_name)
    conn = POOL.connection()
    cursor = conn.cursor(pymysql.cursors.DictCursor)
    cursor.execute(sql, args)
    conn.commit()


@app.route('/create_tag')
def create_tag():
    name = request.args.get('name')
    blog_id = request.args.get('blog_id')
    sql = 'insert into blog_tag (name ,blog_id) values (%s,%s)'
    insert_data(sql, 'blog_tag', name, blog_id)

    return '创blog_tag成功'


@app.route('/create_category')
def create_category():
    name = request.args.get('name')
    blog_id = request.args.get('blog_id')
    sql = 'insert into blog_category (name ,blog_id) values (%s,%s)'
    insert_data(sql, 'blog_category', name, blog_id)

    return '创blog_tag成功'


if __name__ == '__main__':
    app.run()

 

django中信号使用

## 1 内置信号
Model signals
    pre_init                    # django的modal执行其构造方法前，自动触发
    post_init                   # django的modal执行其构造方法后，自动触发
    pre_save                    # django的modal对象保存前，自动触发
    post_save                   # django的modal对象保存后，自动触发
    pre_delete                  # django的modal对象删除前，自动触发
    post_delete                 # django的modal对象删除后，自动触发
    m2m_changed                 # django的modal中使用m2m字段操作第三张表（add,remove,clear）前后，自动触发
    class_prepared              # 程序启动时，检测已注册的app中modal类，对于每一个类，自动触发
Management signals
    pre_migrate                 # 执行migrate命令前，自动触发
    post_migrate                # 执行migrate命令后，自动触发
Request/response signals
    request_started             # 请求到来前，自动触发
    request_finished            # 请求结束后，自动触发
    got_request_exception       # 请求异常后，自动触发
Test signals
    setting_changed             # 使用test测试修改配置文件时，自动触发
    template_rendered           # 使用test测试渲染模板时，自动触发
Database Wrappers
    connection_created          # 创建数据库连接时，自动触发
    
    
####### 内置信号使用##############
    1 写一个函数
    2 跟内置信号绑定
    3 等待触发(自动的)
    
   

## 1 写个函数
#放到__init__里
from django.db.models.signals import pre_save
import logging
def callBack(sender, **kwargs):
    # 过滤banner表   ：kwargs就有表名
    print('对象保存了')
    # celery异步
    
# 2 绑定
post_save.connect(callBack)

# 3 绑定方式二，使用装饰器
from django.db.models.signals import pre_save
from django.dispatch import receiver
@receiver(pre_save)
def my_callback(sender, **kwargs):
    print("对象创建成功")
    print(sender)
    print(kwargs)


#### 自定义信号######
# 1 定义信号（一般创建一个py文件）（toppings，size 是接受的参数）
import django.dispatch
pizza_done = django.dispatch.Signal(providing_args=["toppings", "size"])

#2  写个函数注册信号
def callback(sender, **kwargs):
    print("callback")
    print(sender,kwargs)
pizza_done.connect(callback)

# 3 触发信号
from 路径 import pizza_done
pizza_done.send(sender='seven',toppings=123, size=456)

 

用信号的好处-------代码侵入性低---》解耦

信号和信号量

# 信号：signal 
    -flask，django中得 观察者模式  --》信号机制
    
# 信号量：Semaphore
    -并发编程中概念
    在Python中，信号量（Semaphore）主要用来控制多个线程或进程对共享资源的访问。信号量本质上是一种计数器的锁，它维护一个许可（permit）数量，每次 acquire() 函数被调用时，
如果还有剩余的许可，则减少一个，并允许执行；如果没有剩余许可，则阻塞当前线程直到其他线程释放信号量