2020年2月25日
python协程爬虫-aiohttp+aiomultiprocess使用
摘要： 最近使用协程写了个爬虫，效果杠杠的啊，使用aiohttp替代requests发起请求，requests是同步的，会阻塞比较久，再加上aiomultiprocess，实现多进程异步协程，每个进程都单独的事件循环执行多个协程任务；这篇文章主要是记录下这两个库的使用 aiohttp aiohttp是基于a 阅读全文
posted @ 2020-02-25 23:03 Alummox 阅读(2921) 评论(0) 推荐(0) 编辑