2020年8月25日
python利用xpath进行图片爬取（异步高性能测试）
摘要： 高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 阅读全文
posted @ 2020-08-25 18:13 lurkerzhang 阅读(378) 评论(0) 推荐(0) 编辑