摘要: 这篇文章是基于上篇文章的续章~ 一台机器要部署很多爬虫,每天定时执行的情况下,服务器CPU和内存占比较高的情况出现后 模拟一份代码,进行分析。 一个简单的爬虫程序,爬取10页数据共计150条,每天定时写入数据库 总共不到150行,没运行期间内存已经20%多了,运行期间内存会涨到60%,CPU会涨到4 阅读全文
posted @ 2021-02-04 15:24 黑山老道 阅读(9521) 评论(0) 推荐(0) 编辑