异步pyppeteer：并发运行多个浏览器并收集结果
网上代码一大抄，居然网上讲pyppeteer异步的一大推，但运行起来都是await，并没有讲如何同时并发运行十几二个pyppeteer页面，那有个卵用呀，还不如开个多进程呢。
话不多说，上代码。
爬取目标是额，就夜幕吧，知名的爬虫论坛，没错，就肝它吧。
页面有44个，先用pyppeteer用await的方法一个一个爬，实际和同步用时一样，大概76秒爬完44个页面。
而用asyncio并发去跑，不控制信号量。就是让它跑满，实际用时12秒，快乐7倍有多。
# -*- coding: utf-8 -*- # @Time : 2021/4/13 18:44 # @File : crawler.py import asyncio from parsel import Selector import pyppeteer from read_config import * from pipeline.mongo import MongoDBCls from datetime import datetime class BaseCrawler(): def __init__(self): self.db_cls = MongoDBCls('db_technology','nightteam') # 如果不存数据，可以注释掉 async def browser(self): browser = await pyppeteer.launch( {'headless': HEADLESS, 'userDataDir': UserDataDir, # 'ignoreDefaultArgs': ignoreDefaultArgs, # 忽略内置参数 'args': ['--start-maximized'], # 最大化 } ) return browser async def crawl(self, **kwargs): browser = await self.browser() tasks=[] for i in range(1, 45): tasks.append(self.get_single_page(browser,i,**kwargs)) result =await asyncio.gather(*tasks) print(len(result)) await browser.close() return result async def start(self): result = await self.crawl(time=1000*600) for item in result: self.db_cls.add(item) async def get_single_page(self,browser,i,**kwargs): page = await browser.newPage() url = self.base_url.format(i) # print(url) await page.goto(url, **kwargs) content = await page.content() return self.parse(content) def parse(self, content): response = Selector(text=content) item_list = response.xpath('//div[@class="card-body card-p0"]/ul/li') result_list =[] for item in item_list: item_dict = dict() detail_url = item.xpath( './/div[@class="media-body"]/div[@class="subject break-all"]/a/@href').extract_first() title = item.xpath( './/div[@class="media-body"]/div[@class="subject break-all"]/a/text()').extract_first() detail_url = self.url_completion(detail_url) username = item.xpath( './/div[@class="d-flex justify-content-between small mt-2"]/div/span[@class="haya-post-info-username "]/span[1]/text()').extract_first() post_time = item.xpath( './/div[@class="d-flex justify-content-between small mt-2"]/div/span[@class="haya-post-info-username "]/span[2]/text()').extract_first() view_count = item.xpath( './/div[@class="d-flex justify-content-between small mt-2"]/div[@class="text-muted small"]/span[@class="ml-2"]/text()').extract_first() item_dict['detail_url'] = detail_url item_dict['title'] = title item_dict['username'] = username item_dict['post_time'] = post_time item_dict['crawltime'] = datetime.now() item_dict['view_count'] = int(view_count) if view_count else 0 # print(item_dict) result_list.append(item_dict) return result_list @property def base_url(self): base_url = 'https://bbs.nightteam.cn/index-{}.htm' return base_url
运行代码：
import asyncio import time def main(): start = time.time() spider = BaseCrawler() loop = asyncio.get_event_loop() loop.run_until_complete(spider.start()) print(f'time used {time.time()-start:.2} s') if __name__ == '__main__': main()
上面就是完整的代码，
这里为了展示效果，把获取到的字段打印出来即可。
这里重点是：
browser = await self.browser() tasks=[] for i in range(1, 45): tasks.append(self.get_single_page(browser,i,**kwargs)) result =await asyncio.gather(*tasks) print(len(result)) await browser.close() return result
如果把page传进去作为参数，得到的结果是全部都是一样的，是最后一页。
所以只能把browser传进去，让函数执行打开页面，而不能先把页面获取，再分配给函数。
tasks.append(self.get_single_page(browser,i,**kwargs))
这一句是把所有的协程放在一个列表里面，这个是代码的关键。
这时抓取动作还没有执行，等待一下条 await 阻塞语句出现是，这个时候，事件循环就开始分配任务，把这个44个页面的任务分配出去，并同时执行，最后等待最后一个页面执行完毕，所用耗时由最慢的一个页面决定。
最后把所有解析数据收集到返回给result，这是就可以拿数据取存储或者输出啦。
转自：https://zhuanlan.zhihu.com/p/364646776
