摘要：miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用 安装说明 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

摘要：cloudflared tunnel 提供了免费的可以快速将本地服务暴露到互联网的能力，可以方便我们测试，很值得试用下，以下是一个简单测试 简单使用 安装 基于mac 系统 brew install cloudflared 登陆注册 按照提示操作就行，不用付费 cloudflared tunnel 阅读全文

摘要：实际可能会碰到一种场景我们希望进行maven 的打包（比如shade）但是目前项目pom.xml 没有包含plugin 的配置，实际上maven 是可以直接通过maven 坐标模式，使用完整名称进行插件的加载以及执行的 参考使用 命令 以下是对于项目打一个fat jar mvn clean comp 阅读全文

摘要：以下简单说明下litellm 对于计费的处理(使用了内置模式，当然litellm 也是可以通过callback 集成外部系统进行计费的) 参考日志信息 (默认配置) 比如集成internlm2 的日志信息 18:05:05 - LiteLLM:ERROR: litellm_logging.py:12 阅读全文

摘要：constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用 准备conda 环境 命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

摘要：以前说明browserless 的hooks，实际上browserless还支持webhooks 也是一个很不错的功能，可以进行统计分析 而且webhooks 的地址都是可以通过环境变量配置的 参考使用 docker 启动 docker run -d \ --restart always \ --n 阅读全文

摘要：playwright-har是puppeteer-har 的playwright 移植，使用方法上类似，以下是一个简单试用 环境准备 docker-compose 使用了browserless version: "3" services: browser: image: ghcr.io/browse 阅读全文

摘要：browserless docker 镜像默认安装了一些字体文件，对于我们日常使用基本够用了，了解下docker 镜像的制作，可以更好的使用以及配置browserless 简单说明 browserless docker 镜像包含了基础镜像以及不同浏览器的，基础镜像主要提供基础包的安装，不同浏览器的主 阅读全文

摘要：现在基本网站都会有埋点（统计分析）或者不少有广告的，对于爬虫场景可能不太方便，社区已经提供了相关的插件 我们可以直接使用，以下是一个简单的使用说明 环境准备 基于browserless docker-compose version: "3" services: browser: image: ghc 阅读全文

摘要：playwright是与puppeteer类似的包装，但是playwright 实现的周边更加丰富，也是一个很不错的工具，值得使用下，以下是关于 playwright 连接browserless服务的简单说明 环境准备 docker-compose version: "3" services: ng 阅读全文

摘要：以下简单演示下puppeteer exposeFunction 的使用 环境准备 基于browserless docker-compose version: "3" services: nginx: image: nginx:alpine volumes: - ./index.html:/usr/s 阅读全文

摘要：browserless 实际上提供了不少配置参数，使用好这些配置参数可以提升服务的稳定性，以下是关于一些参数的简单说明 参考配置 并发请求配置 默认为5，可以结合自己的资源建议配置大一些，尤其是进行大量处理的CONCURRENT=10 队列配置 队列实际上是对于资源的一种控制，确保系统的稳定，配置  阅读全文

摘要：maven 从3.3.1+ 开始支持基于maven.config 模式的命令行参数处理，以下简单说明下 配置 位置 .mvn/maven.config 参考配置 注意从3.9 开始参数应该是每行一个 -Pconsume-incrementals -Pmight-produce-incremental 阅读全文

摘要：有些时候我们为了方便python 模块的分发，会有类似java uber jar的需求，社区已经有一些不错的可选工具，以下说明下 uberegg 这个工具scrapy-client 中的deploy 就使用了此工具，对于依赖的构建我们制定配置就可以了python setup.py bdist_ube 阅读全文

摘要：一般我们可能都是使用的idea 工具，但是有时ide 工具可能不那么方便，可能就需要直接使用基于maven exec 插件的，以下是一个使用 的简单说明 exec 插件参考配置 项目结构 直接运行 mvn compile exec:java -Dexec.mainClass="com.dalong. 阅读全文

摘要：changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用 安装 可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

摘要：changie 提供了比较友好的changelogs 说明 changelog 的一些原则 记住日志是写给人而非机器的 每个版本都应该有独立的入口 同类改动应该分组放置 不同版本应分别设置链接 新版本在前，旧版本在后 应包括每个版本的发布日期 注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

摘要：puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际，个人建议减少复 阅读全文

摘要：puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示 环境准备 基于了browserless（使用了v2版本，注意b 阅读全文

摘要：jenkins docker 镜像为了方便调试，已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理，以下是一个简单使用 参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文