2019年1月30日
python多进程web爬虫-提升性能利器
摘要： 背景介绍： 小爬我最近给部门开发了一系列OA的爬虫工具，从selenium前端模拟进化到纯requests后台post请求爬取，效率逐步提升。刚开始能维持在0.5秒/笔。可惜当数据超过2000笔后，爬取速度逐渐变慢，最终稳定在1-1.2秒/笔。（此处有较大的坑，原则上在万行数据这个量级上，速度不应该 阅读全文
posted @ 2019-01-30 21:12 NewJune 阅读(2803) 评论(0) 推荐(0) 编辑