随笔分类 -  持续集成

上一页 1 2 3 4 5 6 7 ··· 40 下一页

git-commit-id-maven-plugin 插件使用
摘要：git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析 业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用 项目准备 一个多模块项目 父pom.xml <? 阅读全文

posted @ 2024-05-06 07:26 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

cryostat jvm 容器化环境安全的jfr管理工具
摘要：cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理 包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持 数据gr 阅读全文

posted @ 2024-05-04 16:12 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

npm 下载npm tar 包
摘要：主要记录下如何使用npm 的pack 命令，快速下载npm repo 中的tar 包，方便项目使用 参考处理 参考命令 npm pack @lakehouse-rs/flight-sql-client-linux-x64-gnu@0.0.7 效果 说明 当然也可以通过npm 的json api 格式 阅读全文

posted @ 2024-04-19 22:53 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑

browserless 屏幕捕捉以及pdf 导出简单试用
摘要：基于browserless 以及puppeteer 我们可以快速的进行屏幕捕捉生成图片以及导出pdf 文件，以下是一个简单的试用 环境准备 docker-compose version: "3" services: app: image: browserless/chrome:latest port 阅读全文

posted @ 2024-04-18 11:47 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

browserless 部署无头浏览器到docker中的工具
摘要：browserless 部署无头浏览器到docker 中的工具 包含的特性 支持可配置的并行以及请求队列 开箱即用的字体支持 debug 视图支持 交互式的puppeteer 调试器 支持puppeteer 以及playwright 支持基于websocket 以及rest api 的请求控制（可以 阅读全文

posted @ 2024-04-18 11:47 荣锋亮 阅读(578) 评论(0) 推荐(0) 编辑

dbt-checkpoint 源码结构简单说明
摘要：前边说过dbt-checkpoint 是基于dbt 的元数据解析，然后集合规则进行check，属于一个pre-commit 插件，以下简单说明下内部实现 配置 核心是 .pre-commit-hooks.yaml文件，一个标准的pre-commit 定义 内容 核心是id，name，entry，la 阅读全文

posted @ 2024-04-16 19:39 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

自定义pre-commit 开发格式简单说明
摘要：内容来自官方文档，主要是简单说明下，方便学习 约定 git 项目需要包含.pre-commit-hooks.yaml 文件，里边内容格式如下 - id: trailing-whitespace name: Trim Trailing Whitespace description: This hook 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

pre-commit 多语言pre-commit hooks 框架
摘要：pre-commit 多语言pre-commit hooks 框架 基于python 开发，功能很强大 参考使用 安装 pip install pre-commit 添加配置 .pre-commit-config.yaml repos: - repo: https://github.com/pre- 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

dbt-checkpoint 确保dbt 项目质量的pre-commit hooks 工具
摘要：dbt-checkpoint 实际上属于pre-commit hooks plugin 实现了不少hooks 可以用来提升dbt 项目的模型质量内部处理上实际是对于dbt 的元数据进行解析，当然dbt-checkpoint 也提供了不少其他扩展 目前包含的hooks 只大概说明下，详细的后边介绍下， 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

jar class 文件替换最好使用jar 自带的命令行工具
摘要：最近在进行一个系统fix的时候，按照最简单的方法就是自己unzip jar 文件，之后通过编译代码，然后替换class文件，之后通过jar cvf 进行重新压缩，但是每次替换都会提示spring bean 存在多个，原始的就没有问题，经过一些尝试发现是此方法不太好，部分系统的加载的jar 会有差异影 阅读全文

posted @ 2024-04-10 10:10 荣锋亮 阅读(200) 评论(0) 推荐(0) 编辑

setuptools 对于现代python包支持的简单试用
摘要：以前我们编写python包通过setuptools 是编写配置setup.cfg以及一个setup.py 文件，现代的玩法是基于pyproject.toml 以下是一个简单学习 项目准备 使用venv cli python -m venv venv source venv/bin/activate 阅读全文

posted @ 2024-04-01 08:00 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

hatch python 现代项目管理工具
摘要：hatch python 现代项目管理工具，以下是一些简单试用 安装 cli brew install hatch 一些推荐配置 这样我们的venv 直接在执行目录中，比较方便使用 hatch config set dirs.env.virtual .hatch 简单项目 cli hatch new 阅读全文

posted @ 2024-03-30 10:13 荣锋亮 阅读(218) 评论(0) 推荐(0) 编辑

soda-data dremio 集成使用
摘要：以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明 环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包 阅读全文

posted @ 2024-03-22 08:00 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

soda 数据质量测试工具
摘要：soda 数据质量测试工具,可以方便的集成到ci/cd 中，同时支持的数据库也不少，soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测（也支持输出数据格式为json，方便分析） 说明 soda 同时也提供了data contract 的支持，对 阅读全文

posted @ 2024-03-21 08:00 荣锋亮 阅读(103) 评论(0) 推荐(0) 编辑

maven plugin debug 简单说明
摘要：有些时候我们希望对于maven plugin 进行调试（可能有bug），以下是一些简单说明 玩法 使用mvnDebug 直接替换mvn clone 或者将maven plugin 的jar 放到项目的classpath 中 添加remote jvm debug 并配置地址为mvnDebug提供的地址 阅读全文

posted @ 2024-03-19 08:01 荣锋亮 阅读(182) 评论(0) 推荐(0) 编辑

Open Data Contract Standard(ODCS) data contracts 标准
摘要：ODCS 属于一个linux 基金会项目，目前处于沙箱阶段 包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

posted @ 2024-03-02 08:49 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

data contracts 参考资料
摘要：基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式，机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定，确保数据的质量，提高数据团队的协作，同时还有不少工具可以参考 说明 open-data-contract-s 阅读全文

posted @ 2024-03-01 08:01 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

pkl apple 开源的配置即代码语言
摘要：pkl apple 开源的配置即代码语言 应用场景 生成静态配置 可以方便的生成json，yaml，xml 格式配置 应用运行时配置 官方提供了swift，go，java，kotlin 语言的支持，可以方便使用 说明 github 上的start 不少，值得看看，同时也直接可以集成到spring b 阅读全文

posted @ 2024-02-24 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

dremio cloner 简单试用
摘要：以前简单介绍过dremio cloner 工具，以下是一个简单试用 dremio 环境准备 基于docker-compose，具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose 完成配置 安装dremio clon 阅读全文

posted @ 2024-02-23 08:01 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

unpkg 淘宝registry 不能使用的问题
摘要：以前修改过一个unpkg，可以支持本地私服部署，今天有一位网友在使用淘宝registry 的时候发现有问题，会有重定向的问题 造成不能使用 原因分析 尽管我们配置的是 registry.npmmirror.com 但是对于内容的下载npmmirror 会使用另外一个域名cdn.npmmirror.c 阅读全文

posted @ 2024-02-22 14:51 荣锋亮 阅读(75) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 40 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示