2020年3月19日
python异步框架asyncio的使用
摘要： python对异步编程有原生的支持，即asyncio标准库，使用异步IO模型可以节约大量的IO等待时间，非常适合于爬虫任务。 1.基本用法 2.多进程+协程 如果想进一步加快爬取速度，考虑到python多线程的全局锁限制，可以采用多进程+协程的方案： 可以看出来多进程已经加快了爬取速度，具体加速效果 阅读全文
posted @ 2020-03-19 17:08 qxcheng 阅读(813) 评论(0) 推荐(0) 编辑