python(flask/gunicorn)+apscheduler定时邮件重发两次的问题
工作中遇到一个需求,要在现有系统(airbnb家的开源平台superset)上添加一个定时邮件的功能。
定时邮件功能使用的是apscheduler这个库,关于怎么用这里就不多赘述了反正网上都有。
主要记录一个问题,使用过程中发现邮件有的时候会重发两次,经过研究之后发现是runserver的时候,调度器实例被创建了两次。
这个主要和系统使用的flask的一个reload机制有关(FLASK_USE_RELOAD = True),reload主要用于代码的热更新(简单解释就是,当你runserver启动服务的时候,会先创建一个主进程,主进程再创建一个子进程。子进程是实际运作的系统,而主进程的主要作用在于监听代码的改变,当你python install重装代码时,主进程探测到代码的改变,就会自动重启子进程,达到代码热更新的效果)。
因此当你runserver时,会发现代码被执行了两遍。但在系统中调度器实例只应被执行一次,这时可以添加判断条件:if os.environ.get('WERKZEUG_RUN_MAIN') == 'true' ,创建主进程时会发现此变量值为None,而创建子进程时此变量为true,仅当此变量为true时创建调度器实例,即可避免上述问题。
-------------------------------------
2018-01-17 更新:
后来系统换用gunicorn部署,发现这个问题又回来了,而且gunicorn设置多少个worker,启动apscheduler的代码就被执行了多少次。
解决方法:
(1)使用--preload启动gunicorn(这样会发现代码在master启动时执行了一次,而在所有worker启动前总共也只执行了一次,这样问题就和之前flask自带的测试服务器类似了)
(2)gunicorn下会发现os.environ里找不到'WERKZEUG_RUN_MAIN'这个变量了,一个变通的想法是找到master启动时不会触发,而worker启动时才会触发的代码段,手动用os.environ.setdefault('RUN_WORKER', 'true')来达到目的
参考文章:
http://simple-is-better.com/news/1039
https://stackoverflow.com/questions/25504149/why-does-running-the-flask-dev-server-run-itself-twice