Python 程序运行时CPU和内存高解决思路

这篇文章是基于上篇文章的续章~

一台机器要部署很多爬虫，每天定时执行的情况下，服务器CPU和内存占比较高的情况出现后

模拟一份代码，进行分析。

一个简单的爬虫程序，爬取10页数据共计150条，每天定时写入数据库

总共不到150行，没运行期间内存已经20%多了，运行期间内存会涨到60%，CPU会涨到40%左右

一个简单程序如此高的消耗肯定是有问题的，参考了网上的一些文章

有使用工具的，安装第三方包的，写时间判断的等等

但是对我的帮助不大(windows....)

努(带)力(薪)工(拉)作(*)之后，根据看过的文章思考了一番：

1.内存和CPU高代表着程序当中的部分代码在大量或反复的执行

2.爬取的时间3-4秒，写入MYSQL数据库，解析使用的XPATH，

  保存数据使用的单表，索引只有ID和URL，表结构数据长度都合适

3.使用了线程，线程数4个

4.没有文件读写操作，网络请求较快，对方服务器响应较快

5.使用了schedule定时模块

6.对后台接口进行任务轮询和定时模块当中出现了while True

还有文章提到判断导入的模块是否时c写的，导致底层频繁调用，首先这个说法不说对不对...一是不会看，二是看了不也得用这个模块吗

所以不考虑这种情况

1.部分代码在大量或反复的执行，具体是哪里差找起来不方便，可以放在最后进行过滤

2.时间短，执行结束return，应该不存在变量未回收的情况；数据量不大，写入MySQL应该没问题；

XPATH解析数据很快，网页结构并不复杂；单表保存，不涉及到复杂逻辑，索引ID为了自增，URL为了去重，数据量少，

数据表的长度戳戳有余，应该也不是这里；
3.线程使用ThreadPoolExecutor，workers = 4，数量不多

4.没有文件读写，网络请求正常

5.定时模块的while True和任务轮询的while True

思考一番之后，情况1和情况5似乎有重叠的部分，于是看了下任务轮询