随笔分类 -  谷歌浏览器

browserless webhooks 简单说明
摘要：以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

posted @ 2024-07-02 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

browserless hooks 简单说明
摘要：browserless提供了hooks 能力，默认实现都为空，以下简单说明下内部处理 默认实现 如下图 内部处理 hooks.ts 定义 import { AfterResponse, BeforeRequest, BrowserHook, PageHook, } from '@browserles 阅读全文

posted @ 2024-07-01 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

browserless ws 服务处理简单说明
摘要：browserless ws 的处理实际上一个proxy 对于启动的实际无头浏览器ws 服务进行了代理，同时为了安全browserless 进行了token 的处理 以下对于内部实现进行一个简单说明 参考处理 ws route 注册 browserless 模块中的start 方法 wsRoutes 阅读全文

posted @ 2024-06-30 08:00 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

browserless scrape api 简单说明
摘要：以前说过browserless提供了不少api 能力，以下简单说明下scrape api 的处理 参考定义 如下图，browserless 对于不同浏览器进行了不同的处理（内部实现包含了公共的） 内部处理 scrape.http.ts 定义中，browserless 使用了puppeteer-cor 阅读全文

posted @ 2024-06-29 08:00 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

browserless 提供的api 能力
摘要：browserless 提供了不少方便的api，可以让我们基本写很好的代码就能实现一些不错的功能（pdf生成，快照） api 分类 目前api 包含了面向浏览器的以及面向管理的 浏览器api /content 获取内容的 /download 下载内容的 /function 执行自定义函数的 /pdf 阅读全文

posted @ 2024-06-28 08:00 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

playwright-har 试用
摘要：playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用 环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

posted @ 2024-06-26 08:00 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

browserless docker 镜像简单说明
摘要：browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主 阅读全文

posted @ 2024-06-25 08:00 荣锋亮 阅读(75) 评论(0) 推荐(0) 编辑

playwright结合adblocker进行广告拦截
摘要：现在基本网站都会有埋点（统计分析）或者不少有广告的，对于爬虫场景可能不太方便，社区已经提供了相关的插件 我们可以直接使用，以下是一个简单的使用说明 环境准备 基于browserless docker-compose version: "3" services: browser: image: ghc 阅读全文

posted @ 2024-06-24 08:00 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

playwright 连接browserless 服务
摘要：playwright是与puppeteer类似的包装，但是playwright 实现的周边更加丰富，也是一个很不错的工具，值得使用下，以下是关于 playwright 连接browserless服务的简单说明 环境准备 docker-compose version: "3" services: ng 阅读全文

posted @ 2024-06-23 07:13 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

puppeteer exposeFunction 方法简单试用
摘要：以下简单演示下puppeteer exposeFunction 的使用 环境准备 基于browserless docker-compose version: "3" services: nginx: image: nginx:alpine volumes: - ./index.html:/usr/s 阅读全文

posted @ 2024-06-22 08:00 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

puppeteer使用一些技巧简单说明
摘要：puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际，个人建议减少复 阅读全文

posted @ 2024-05-18 22:25 荣锋亮 阅读(93) 评论(0) 推荐(0) 编辑

puppeteer localstorage 处理简单说明
摘要：puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示 环境准备 基于了browserless（使用了v2版本，注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮 阅读(369) 评论(0) 推荐(0) 编辑

lightdash 对于headless browser的使用
摘要：对于slack 的unfurl lightdash 使用了headless browser，以下说明下内部处理 参考图 此图来自官方文档，可以看出主要包含了调度以及slack 的 内部实现 实际上就是对于 unfurl 的图片处理部分,里边包含了cookie处理（安全）以及对于请求进行拦截（核心也是 阅读全文

posted @ 2024-04-18 11:48 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

browserless 对于延迟加载图片的处理
摘要：日常中大家为了提高web的性能基于可见区的图片加载基本常见，但是对于基于puppeteer的快照以及pdf生成就不太方便了，以下是一个解决方法，核心是过去内容的高度，基于代码进行滚动，模拟人的操作实现资源的加载 参考实现 const express = require("express"); con 阅读全文

posted @ 2024-04-18 11:48 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

browserless 屏幕捕捉以及pdf 导出简单试用
摘要：基于browserless 以及puppeteer 我们可以快速的进行屏幕捕捉生成图片以及导出pdf 文件，以下是一个简单的试用 环境准备 docker-compose version: "3" services: app: image: browserless/chrome:latest port 阅读全文

posted @ 2024-04-18 11:47 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

json-caching-proxy 支持har 的cache proxy
摘要：json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server，可以方便的 用来进行mock 以及测试 参考使用 支持cli 以及代码模式 安装 npm install -g json-caching-proxy 简单使 阅读全文

posted @ 2021-01-24 21:54 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示