Django 自定义装饰器解决MySQL server has gone away错误

Django 自定义装饰器解决MySQL server has gone away错误

by:授客 QQ：1033553122

 

测试环境

Win 10

 

Python 3.5.4

 

Django-2.0.13.tar.gz

官方下载地址：

https://www.djangoproject.com/download/2.0.13/tarball/

 

 

问题描述

实际项目开发中，编写定时任务，通过Django自带的orm去操作数据库，发现某次执行程序报错：

MySQL server has gone away

 

原因分析

mysql数据库存在超时关闭非活动状态连接的机制，导致Django获取的连接失效，但是Django自身并不知道。当我们在前端通过api、web页面发送request，Django处理request时会发送Signals，进而触发连接状态检查，自动关闭不可用连接，又因为不存在可用连接的情况下，Django会自动重新创建数据库连接，执行我们想要的操作，所以一般情况不会报这个错误。但是当我们使用定时任务，直接使用orm去操作数据库时并不会触发发送Signals的操作，拿着失效连接去操作数据库，然后就报错了

 

参考链接：

https://docs.djangoproject.com/en/1.8/ref/signals/#module-django.db.models.signals

 

解决方法

自定义关闭不可用连接装饰器，在操作数据库之前进行关闭不可用连接操作。

 

编写装饰器代码

 

编写实现代码前，我们先看下Django相关源码

 

Django-2.0.13\django\db\__init__.py

...略

 

# Register an event to reset saved queries when a Django request is started.

def reset_queries(**kwargs):

    for conn in connections.all():

        conn.queries_log.clear()

 

 

signals.request_started.connect(reset_queries)

 

 

# Register an event to reset transaction state and close connections past

# their lifetime.

def close_old_connections(**kwargs):

    for conn in connections.all():

        conn.close_if_unusable_or_obsolete()

 

 

signals.request_started.connect(close_old_connections)

signals.request_finished.connect(close_old_connections)

 

如上英文注释，可知道，开始请求和完成请求都会调用close_old_connections，重置会话事务状态，关闭超过生命周期的连接，所以我们可以参照这个实现自己的装饰器

 

新建wrappers.py

本例中，wrappers.py存放路径：TMP/backend/common/wrappers.py（这里TMP是我的项目名称，backend为新建应用名称）

 

#!/usr/bin/env python

# -*- coding:utf-8 -*-

 

__author__ = 'shouke'

 

'''

自定义装饰器

'''

 

from django.db import close_old_connections

 

def close_old_database_connections(func):

    '''自定义decorator，用来装饰使用数据库操作函数'''

    def wrapper(*args, **kwargs):

        close_old_connections()

        return func(*args, **kwargs)

 

    return wrapper

 

 

 

使用装饰器

 

#!/usr/bin/env python

# -*- coding:utf-8 -*-

 

__author__ = 'shouke'

 

 

from backend.common.wrappers import close_old_database_connections

 

@close_old_database_connections

def gather_zengtao_group_defect_trend_data():

    # ...Django orm数据库操作