一 线程池实现异步爬虫
import time import requests from multiprocessing.dummy import Pool start_time = time.time() def get_page(url): print("正在下载：", url) response = requests.get(url) time.sleep(3) print("下载完成", url) return {'url': url, 'content': response.text} urls = [ 'http://www.jd.com', 'https://www.baidu.com', 'https://www.python.org' ] if __name__ == '__main__': # 实例化一个线程对象 pool = Pool(4) # 将列表中每一个列表元素传给get_page进行处理 pool.map(get_page, urls)
使用线程池爬取梨视频数据
import time, re import requests from multiprocessing.dummy import Pool from lxml import etree # 线程池处理的是阻塞较为耗时的操作 start_time = time.time() headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36' } # 对下述url发起请求解析出视频详情页的url和视屏名称 url = "https://www.pearvideo.com/category_5" page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) li_list = tree.xpath('//ul[@id="listvideoListUl"]/li') urls = [] # 存储所有视频的连接 for li in li_list: detail_url = "https://www.pearvideo.com/" + li.xpath("./div/a/@href")[0] name = li.xpath('./div/a/div[2]/text()')[0] + ".mp4" print(detail_url, name) # 对详情页的url发起请求 detail_page_text = requests.get(url=detail_url, headers=headers).text # 从详情页中解析出视频的地址 该视频地址在js中 ex = 'srcUrl="(.*?)",vdoUrl' video_url = re.findall(ex, detail_page_text)[0] urls.append({'name': name, "url": video_url}) def get_video_data(data): url = data['url'] video_name = data['name'] print(video_name, "正在下载") video_data = requests.get(url=url, headers=headers).content # 持久化存储操作 with open(video_name, 'wb') as fp: fp.write(video_data) print(video_name, "下载成功！") # 使用线程池对视频数据进行请求(较为耗时的阻塞操作) pool = Pool(4) pool.map(get_video_data, urls) pool.close() pool.join()
二 单线程+异步协程(推荐)：
event_loop: 事件循环, 相当于一个无限循环, 我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行
coroutine:协程对象, 我们可以将协程对象注册到事件循环中, 它会被事件循环调用。我们可以使用async关键字来定义一个方法, 这个方法在调用时不会立即被执行，而是返回一个协程对象
task: 任务, 它是对协程对象的进一步封装, 包含了任务的各个状态
async： 定义一个协程
await: 用来挂起阻塞方法的执行
协程使用示例
import asyncio async def request(url): print("正在请求的url是", url) print("请求成功", url) # async修饰函数, 调用之后返回一个协程对象 c = request("www.baidu.com") # 创建一个事件循环对象 loop = asyncio.get_event_loop() # 将协程对象注册到loop, 然后启动loop loop.run_until_complete(c)
task的使用
task是对 coroutine 对象的进一步封装，它里面相比 coroutine 对象多了运行状态，比如 running、finished 等，我们可以用这些状态来获取协程对象的执行情况。
import asyncio async def request(url): print("正在请求的url是", url) print("请求成功", url) # async修饰函数, 调用之后返回一个协程对象 c = request("www.baidu.com") loop = asyncio.get_event_loop() # 基于loop创建一个task对象 task = loop.create_task(c) print(task) loop.run_until_complete(task)
furture的使用
另外定义 task 对象还有一种方式，就是直接通过 asyncio 的 ensure_future() 方法，返回结果也是 task 对象，这样的话我们就可以不借助于 loop 来定义，即使我们还没有声明 loop 也可以提前定义好 task 对象，写法如下：
import asyncio async def request(url): print("正在请求的url是", url) print("请求成功", url) # async修饰函数, 调用之后返回一个协程对象 c = request("www.baidu.com") loop = asyncio.get_event_loop() task = asyncio.ensure_future(c) print(task) loop.run_until_complete(task) print(task)
绑定回调函数
import asyncio async def request(url): print("正在请求的url是", url) print("请求成功", url) # async修饰函数, 调用之后返回一个协程对象 c = request("www.baidu.com") loop = asyncio.get_event_loop() task = asyncio.ensure_future(c) # 回调函数 def callback_full(task): print(task.result()) # 将回调函数绑定到任务对象中 task.add_done_callback(callback_full) loop.run_until_complete(task)
多任务协程
如果我们想执行多次请求应该怎么办呢？我们可以定义一个 task 列表，然后使用 asyncio 的 wait() 方法即可执行。
import asyncio import time start = time.time() async def request(url): print("正在下载", url) # 在异步协程如果出现了同步模块相关的代码, 那么久无法实现异步 # time.sleep(2) # 基于异步模块， 当asyncio中遇到阻塞操作必须进行手动挂起 await asyncio.sleep(2) print("下载完毕", url) return url urls = [ "www.baidu.com", "www.sougou.com", "www.goubanjia.com" ] # 任务列表：存放多个任务对象 stasks = [] for url in urls: c = request(url) task = asyncio.ensure_future(c) stasks.append(task) loop = asyncio.get_event_loop() # 需要将任务列表封装到wait中 loop.run_until_complete(asyncio.wait(stasks)) print(time.time() - start)
多任务异步爬虫
import asyncio import time import requests start = time.time() urls = [ 'http://www.jd.com', 'https://www.baidu.com', 'https://www.python.org' ] async def get_page(url): print("正在下载", url) # request.get是基于同步, 必须使用基于异步的网络请求模块进行指定url的请求发送 # aiohttp: 基于异步网络请求模块 response = requests.get(url=url) print("下载完毕", response.text) tasks = [] for url in urls: c = get_page(url) task = asyncio.ensure_future(c) tasks.append(task) loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) end = time.time() print(end - start)
aiohttp+多任务异步协程
#环境安装:pip install aiohttp # 使用该模块中的ClientSession import asyncio import time import requests import aiohttp start = time.time() urls = [ 'http://www.jd.com', 'https://www.baidu.com', 'https://www.python.org' ] async def get_page(url): print("正在下载", url) # aiohttp: 基于异步网络请求模块 async with aiohttp.ClientSession() as session： # get()：发起get请求 # post(): 发起post请求 # get和post可以添加headers(UA伪装)参数, params/data(携带参数), proxy="http://ip:port"(代理IP) async with await session.get(url) as response: # text()方法返回字符串形式的响应数据 # read()返回的二进制形式的响应数据 # json()返回josn对象 # 注意：在获取相应数据之前一定要使用await进行手动挂起 page_text = await response.text() print("下载完毕", page_text) tasks = [] for url in urls: c = get_page(url) task = asyncio.ensure_future(c) tasks.append(task) loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) end = time.time() print(end - start)
