摘要: 单任务异步协程: event_loop:事件循环,相当于一个无限循环,可以把一些函数注册到这个事件循环上,当满足某些条件时,函数就会被循环执行。 coroutine:协程对象,可以将协程对象注册到事件循环中,它就会被事件循环所调用,可以使用async关键字来定义一个方法,该方法在调用时不会立即被执行 阅读全文
posted @ 2022-01-21 19:20 Sunshine_y 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作 单线程下以串行方式模拟发送请求,程序运行时间: 不难发现,程序中的get_content是一个阻塞的方法,当且仅当,当前URL响应成功后,才能对下一个URL发起请求,因此造成了较长的运行时间。 异步爬虫的方式: 1、多线程,多进程(不建 阅读全文
posted @ 2022-01-21 10:26 Sunshine_y 阅读(64) 评论(0) 推荐(0) 编辑