2018年1月31日
python爬虫之线程池和进程池
摘要： 一、需求 最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url 阅读全文
posted @ 2018-01-31 17:05 Charles.L 阅读(9879) 评论(1) 推荐(0) 编辑