01 2019 档案

python多进程web爬虫-提升性能利器
摘要：背景介绍： 小爬我最近给部门开发了一系列OA的爬虫工具，从selenium前端模拟进化到纯requests后台post请求爬取，效率逐步提升。刚开始能维持在0.5秒/笔。可惜当数据超过2000笔后，爬取速度逐渐变慢，最终稳定在1-1.2秒/笔。（此处有较大的坑，原则上在万行数据这个量级上，速度不应该 阅读全文
posted @ 2019-01-30 21:12 NewJune 阅读(2822) 评论(0) 推荐(0) 编辑
Post请求data参数构造及巧用js脚本显示爬虫进度
摘要：小爬最近随着对python中字符串、json等理解进一步加深，发现先前我随笔中提到的data构造和传参方法略复杂，原本有更简单的方法，Mark如下。 先前小爬我使用的requests.post请求中data构造的代码如下： 该方法主要通过json的dumps、loads方法来完成“字符串→字典列表→ 阅读全文
posted @ 2019-01-12 17:50 NewJune 阅读(1695) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示