2018年1月14日
爬虫高性能相关（协程效率最高，IO密集型）
摘要： 一背景常识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫程 阅读全文
posted @ 2018-01-14 17:59 liqianlong 阅读(2273) 评论(0) 推荐(0) 编辑