2019年5月12日
04：爬虫之性能相关
摘要： 1.1 实现并发的常见方法 1、简介 1． 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 2． 进程：启用进程非常浪费资源 3． 线程：线程多，并且在阻塞过程中无法执行其他任务 4． 协程：gevent只用起一个线程，当请求发出去后 阅读全文
posted @ 2019-05-12 15:14 不做大哥好多年 阅读(211) 评论(0) 推荐(0) 编辑