puppeteer使用一些技巧简单说明
puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式
以下是对于puppeteer使用的一些简单总结
一些问题
- browser && page 对象复用问题
实际上还是结合实际，个人建议减少复用，除非自己对于browser && page 进行了比较明确的资源管理，否则运行可能会有各类
异常信息（有些可能是bug，有些可能是因为安装依赖的问题，有些可能是自己对于这些对象维护问题）
- 按需配置user-agent
这个实际上再一些场景还是很重要的，尤其一些web 站点可能会基于一些请求头进行重定向以及判断的（一般会基于nginx 等工具）
const page = await browser.newPage();
await page.setUserAgent(
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36",
);
- 如果是web 爬虫场景，尽量对于认证信息进行cache
这个可以减少账户被封的问题，对于认证信息的cache，一般就是cookie 以及localstorage 或者sessionstorage 相关的
- 尽量使用远程支持devtools 协议的服务，比如browserless
基于远程devtools协议服务的好处就很明显了，我们可以基于策略进行灵活的资源路由以及使用云服务提升puppeteer 处理的能力以及稳定性
- puppeteer 内部的一些请求尽量合并
异步编程模型，对于使用上我们对于异步请求处理的合并可以提升性能，比如使用page.evaluate，对于一些await 进行合并
通过page.evaluate
const buttonText = await page.evaluate(() => {
const $button = document.querySelector('.buy-now');
const clicked = $button.click();
return $button.innerText;
});
通过Promise.all
const [response] = await Promise.all([
page.waitForNavigation(),
page.click('a.some-link')
]);
说明
以上是一些简单说明，checklyhq 提供了不少实践，很值得学习下
参考资料
https://docs.browserless.io/Libraries/puppeteer-library
https://pptr.dev/
https://docs.browserless.io/Recipes/setting-a-user-agent
https://docs.browserless.io/Hosted-Service/best-practices
https://www.checklyhq.com/learn/headless/basics-puppeteer-intro/
https://www.checklyhq.com/learn/headless/avoiding-hard-waits/
https://www.checklyhq.com/learn/headless/managing-cookies/
