2021年7月8日
python 高性能异步爬虫线程＆线程池
摘要： ###爬虫本质 其实爬虫的本质就是Client发请求批量获取Server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线 阅读全文
posted @ 2021-07-08 16:32 莫贞俊晗 阅读(404) 评论(0) 推荐(0) 编辑