随笔分类 -  持续集成

上一页 1 2 3 4 5 6 ··· 40 下一页

browserless webhooks 简单说明
摘要：以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

posted @ 2024-07-02 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

playwright-har 试用
摘要：playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用 环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

posted @ 2024-06-26 08:00 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

browserless docker 镜像简单说明
摘要：browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主 阅读全文

posted @ 2024-06-25 08:00 荣锋亮 阅读(75) 评论(0) 推荐(0) 编辑

playwright结合adblocker进行广告拦截
摘要：现在基本网站都会有埋点（统计分析）或者不少有广告的，对于爬虫场景可能不太方便，社区已经提供了相关的插件 我们可以直接使用，以下是一个简单的使用说明 环境准备 基于browserless docker-compose version: "3" services: browser: image: ghc 阅读全文

posted @ 2024-06-24 08:00 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

playwright 连接browserless 服务
摘要：playwright是与puppeteer类似的包装，但是playwright 实现的周边更加丰富，也是一个很不错的工具，值得使用下，以下是关于 playwright 连接browserless服务的简单说明 环境准备 docker-compose version: "3" services: ng 阅读全文

posted @ 2024-06-23 07:13 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

puppeteer exposeFunction 方法简单试用
摘要：以下简单演示下puppeteer exposeFunction 的使用 环境准备 基于browserless docker-compose version: "3" services: nginx: image: nginx:alpine volumes: - ./index.html:/usr/s 阅读全文

posted @ 2024-06-22 08:00 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

browserless docker服务支持的一些配置参数
摘要：browserless 实际上提供了不少配置参数，使用好这些配置参数可以提升服务的稳定性，以下是关于一些参数的简单说明 参考配置 并发请求配置 默认为5，可以结合自己的资源建议配置大一些，尤其是进行大量处理的CONCURRENT=10 队列配置 队列实际上是对于资源的一种控制，确保系统的稳定，配置  阅读全文

posted @ 2024-06-21 06:53 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

maven maven.config 简单说明
摘要：maven 从3.3.1+ 开始支持基于maven.config 模式的命令行参数处理，以下简单说明下 配置 位置 .mvn/maven.config 参考配置 注意从3.9 开始参数应该是每行一个 -Pconsume-incrementals -Pmight-produce-incremental 阅读全文

posted @ 2024-06-15 08:00 荣锋亮 阅读(943) 评论(0) 推荐(0) 编辑

python 生成uber egg 的几个工具
摘要：有些时候我们为了方便python 模块的分发，会有类似java uber jar的需求，社区已经有一些不错的可选工具，以下说明下 uberegg 这个工具scrapy-client 中的deploy 就使用了此工具，对于依赖的构建我们制定配置就可以了python setup.py bdist_ube 阅读全文

posted @ 2024-06-05 21:47 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

mvn 运行java 应用
摘要：一般我们可能都是使用的idea 工具，但是有时ide 工具可能不那么方便，可能就需要直接使用基于maven exec 插件的，以下是一个使用 的简单说明 exec 插件参考配置 项目结构 直接运行 mvn compile exec:java -Dexec.mainClass="com.dalong. 阅读全文

posted @ 2024-06-05 11:06 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

changie 简单试用
摘要：changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用 安装 可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

posted @ 2024-05-27 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

changie 预处理release changelog 工具
摘要：changie 提供了比较友好的changelogs 说明 changelog 的一些原则 记住日志是写给人而非机器的 每个版本都应该有独立的入口 同类改动应该分组放置 不同版本应分别设置链接 新版本在前，旧版本在后 应包括每个版本的发布日期 注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

posted @ 2024-05-26 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

puppeteer使用一些技巧简单说明
摘要：puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际，个人建议减少复 阅读全文

posted @ 2024-05-18 22:25 荣锋亮 阅读(93) 评论(0) 推荐(0) 编辑

puppeteer localstorage 处理简单说明
摘要：puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示 环境准备 基于了browserless（使用了v2版本，注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮 阅读(369) 评论(0) 推荐(0) 编辑

jenkins docker 开启debug 简单说明
摘要：jenkins docker 镜像为了方便调试，已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理，以下是一个简单使用 参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文

posted @ 2024-05-18 22:13 荣锋亮 阅读(96) 评论(0) 推荐(0) 编辑

创建一个不带认证的jenkins环境
摘要：对于jenkins 禁用认证的方法很多，大家可能经常看到的是先启动，然后禁用认证模式的,实际上jenkins 有一些可配置参数进行不带认证环境的直接开启 禁用配置模式的 首先启动，然后修改jenkins home 中的config.xml <?xml version='1.1' encoding=' 阅读全文

posted @ 2024-05-12 06:56 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

jenkins maven-hpi-plugin 插件run 内部处理简单说明
摘要：jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin，提供了打包，测试，以及本地运行的能力，以下简单说明下 关于run 命令的处理 内部处理 实现上hpi:run 命令复用了jetty maven 插件的一些能力，对于我们提供了 阅读全文

posted @ 2024-05-12 06:55 荣锋亮 阅读(126) 评论(0) 推荐(0) 编辑

jenkins plugin 开发简单说明
摘要：属于一个简单的学习，基于了官方提供的脚手架，运行一个简单测试插件，了解下开发流程 基于脚手架的简单项目 创建 使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

posted @ 2024-05-11 11:27 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建
摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

japicmp jar 文件比较工具
摘要：japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我 阅读全文

posted @ 2024-05-09 00:07 荣锋亮 阅读(370) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 40 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示