08 2021 档案

OpenMetadata 开放标准的元数据服务
摘要:OpenMetadata 是一个开放标准的元数据服务,可以在一个地方实现数据的发现,协作 包含的组件 元数据schema 元数据存储 元数据api 数据进入框架(插件化的框架支持多种数据库) 元数据界面 一张官方的参考图 说明 OpenMetadata 很多地方是依赖了json schema,同时目 阅读全文

posted @ 2021-08-29 23:16 荣锋亮 阅读(1476) 评论(0) 推荐(0) 编辑

xxljob 学习
摘要:参考架构 环境准备 docker-compose version: "3" services: job: image: xuxueli/xxl-job-admin:2.3.0 ports: - "8080:8080" volumes: - "./tmp:/data/applogs" - "./app 阅读全文

posted @ 2021-08-29 21:27 荣锋亮 阅读(209) 评论(0) 推荐(1) 编辑

easy-rules facts 添加扩展数据
摘要:一个很常见的场景,我们希望在easy-rules 的facts 中添加一些扩展数据(比如json) 但是因为默认facts 是会进行数据转map的,很多时候可能不会产生我们希望的结果 解决方法 包装一个新的对象,在执行rule 的时候在facts 传递一个初始对象,然后就可以使用引用的模式使用数据了 阅读全文

posted @ 2021-08-28 23:52 荣锋亮 阅读(564) 评论(0) 推荐(0) 编辑

easy-rules-centraldogma-spring-boot-starter 引入外部rule
摘要:easy-rules-centraldogma-spring-boot-starter 当前是基于json 以及只支持spel 格式的解析的 如果我们需要添加其他格式的,当前只直接不能支持的,但是也可以使用其他模式解决 解决方法 自己定义rule,添加到starter提供的bean 中 参考代码 r 阅读全文

posted @ 2021-08-28 23:39 荣锋亮 阅读(148) 评论(0) 推荐(0) 编辑

cube.js 基于queryRewrite 进行安全控制
摘要:基于queryRewrite 我们可以做强大的安全控制,比如基于角色的访问控制以及基于列的访问控制 基于角色的访问控制 module.exports = { queryRewrite: (query, { securityContext }) => { if (!securityContext.ro 阅读全文

posted @ 2021-08-24 21:51 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

spring prototype bean 获取处理
摘要:参考链接:http://dolszewski.com/spring/accessing-prototype-bean-in-singleton/amp/ When to use prototype beans? Before we fall into the pitfalls of injectin 阅读全文

posted @ 2021-08-23 22:53 荣锋亮 阅读(260) 评论(0) 推荐(0) 编辑

基于cloudevents+easy-rules+centraldogma 进行基于规则的业务开发
摘要:主要是一个集成,基于标准的cloudevents 事件数据格式,集成easy-rules 方便的规则处理能力加速复杂业务处理利用centraldogma强大的配置管理能力,解决规则的实时更新问题,让业务可以直接基于配置规则进行管理调整 参考图 说明 处理流程 client 基于cloudevent 阅读全文

posted @ 2021-08-22 19:37 荣锋亮 阅读(383) 评论(0) 推荐(0) 编辑

mercurius 基于fastify 的graphql server 以及gateway 服务
摘要:mercurius 是fastify 框架作者开发的graphql 框架 支持的特性 cache 查询以及校验 通过自动加载解决n+1问题(后边研究下) 基于graphql-jit 解决即使编译问题 订阅支持 支持联邦(很不错的特性) 联邦订阅支持 支持gateway 模式 支持批量查询 自定义持久 阅读全文

posted @ 2021-08-22 12:23 荣锋亮 阅读(168) 评论(0) 推荐(0) 编辑

如何测试easy-rules 的spel 表达式
摘要:尽管官方文档没有提供,但是测试用例都是包含了,我们可以直接使用 参考示例 @Test public void demo222(){ ParserContext context = new TemplateParserContext("#{","}"); Condition condition = n 阅读全文

posted @ 2021-08-22 12:13 荣锋亮 阅读(457) 评论(0) 推荐(0) 编辑

easy-rules-centraldogma-spring-boot-starter spel 模版格式说明
摘要:基于模版格式的代码,看着会比较清晰,所以添加了一个新的配置参数template 可以开启此选项 参考配置 easyrules: skipOnFirstAppliedRule: false skipOnFirstNonTriggeredRule: false priorityThreshold: 10 阅读全文

posted @ 2021-08-22 11:58 荣锋亮 阅读(131) 评论(0) 推荐(0) 编辑

easy-rules-centraldogma-spring-boot-starter 使用说明
摘要:easy-rules-centraldogma-spring-boot-starter 是直接利用了centraldogma进行easy-rules 配置规则管理 可以方便的多版本以及实时更新问题,利用centraldogma强大的git 能力,可以方便的进行rule 的版本管 理,同时centra 阅读全文

posted @ 2021-08-21 20:45 荣锋亮 阅读(141) 评论(0) 推荐(0) 编辑

wagon maven 通用的artifact 以及repository 模块
摘要:当前支持的扩展参考下图 参考架构 说明 基于此核心模块我们就能开发一个简单的maven repo 私服了 参考资料 https://maven.apache.org/wagon/https://maven.apache.org/wagon/wagon-provider-api/apidocs/htt 阅读全文

posted @ 2021-08-21 19:35 荣锋亮 阅读(201) 评论(0) 推荐(0) 编辑

使用centraldogma 作为easy-rules spring boot starter的规则存储
摘要:centraldogma 前边有介绍过,同时也说明过部署以及使用,以下是基于centraldogma 扩展easy-rules 的spring boot starter 方便快捷的支持rule 的修改以及实时更新,代码已经push github了,可以参考使用 开发流程 借鉴了以前easy-rule 阅读全文

posted @ 2021-08-21 09:25 荣锋亮 阅读(227) 评论(0) 推荐(0) 编辑

spring boot fat jar 引入新的jar 文件到classpath
摘要:bootstrap classpath 参考说明 -Xbootclasspath: 完全取代基本核心的Java class 搜索路径.不常用,否则要重新写所有Java 核心class -Xbootclasspath/a: 后缀。将classpath添加在核心class搜索路径后面。常用!! -Xbo 阅读全文

posted @ 2021-08-16 21:43 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

nicolaka/netshoot 强大的容器网络问题解决工具
摘要:nicolaka/netshoot 实际上是一个工具集提供了好多方便的网络问题解决工具,可以加速我们对于日常docker 以及k8s 网络问题的解决 说明 github 也提供了比较多的文档说明,实际上nicolaka/netshoot 更多是工具的集成,但是可以加速我们日常问题的解决 参考资料 h 阅读全文

posted @ 2021-08-14 20:43 荣锋亮 阅读(585) 评论(0) 推荐(0) 编辑

使用nsenter 解决tcpcollect容器网络捕捉问题
摘要:属于一个实际的问题,因为mysql 基于容器运行,但是需要实时追踪mysql 的执行情况,tcpcollect 是一个特别好的选择 一些问题 因为容器隔离的特性造成我们捕捉的流量会有问题,无法完整的捕捉mysql 的请求 解决方法 此时我们可以直接基于nsenter 直接挂载容器网络namespac 阅读全文

posted @ 2021-08-14 10:01 荣锋亮 阅读(87) 评论(0) 推荐(0) 编辑

centraldogma git 镜像配置
摘要:git 镜像的场景主要是将git repo 同步到centraldogma 中,配置还是比较简单的,主要是关于定时任务,centraldogma repo 关联,账户信息 参考运行 centraldogma 环境 version: "3" services: app: image: line/cen 阅读全文

posted @ 2021-08-12 22:49 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

jmespath java 使用
摘要:日常中我们经常需要进行json 数据类型的处理,jmespath 是一个很不错的选择,简单强大,以下是关于java代码 集成的使用(一个简单示例,进行multiselect 的处理) 参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文

posted @ 2021-08-11 23:14 荣锋亮 阅读(867) 评论(0) 推荐(0) 编辑

使用apicurio-registry 管理schema
摘要:apicurio-registry 是一个很不错的schema 管理工具,可以方便的支持多种数据schema 的版本管理,可以方便 实现共享(api 设计以及面向消息驱动的架构应该会比较好) 参考运行 docker 运行 docker run -d -p 8080:8080 apicurio/api 阅读全文

posted @ 2021-08-10 23:47 荣锋亮 阅读(549) 评论(0) 推荐(0) 编辑

bfe 简单学习示例
摘要:bfe 参考架构 bfe 参考回调点 安装 下载对应平台的软件包,解压即可 流程 注意因为配置是json 格式,所以关于json 注释的信息都应该删除,否则配置会有问题 基本配置 conf/bfe.conf hostRuleConf = server_data_conf/host_rule.data 阅读全文

posted @ 2021-08-10 13:07 荣锋亮 阅读(413) 评论(0) 推荐(0) 编辑

prefect 新的开源工作流管理系统
摘要:prefect 主要是用来进行数据的工作流管理系统,而且prefect 团队开源了核心工具,而且目前prefect 也提供了比较丰富的工具报(而且支持dremio。。。。) 说明 prefect 是一个很不错的基于python 编写的调用工具,很值得学习下,而且dbt 官方也有介绍到 参考资料 ht 阅读全文

posted @ 2021-08-09 00:01 荣锋亮 阅读(1134) 评论(0) 推荐(0) 编辑

apicur 开源api 设计工具集
摘要:apicur 是red hat 开源的api 设计以及管理工具集,包含了studio , registry , data models ,Apicurio 组件说明 studio 支持进行api 设计,可以不用编写代码 registry 运行时schema 以及api 设计的仓储 data mode 阅读全文

posted @ 2021-08-07 22:12 荣锋亮 阅读(457) 评论(0) 推荐(0) 编辑

hawkular 开源监控组件
摘要:支持的特性 联邦通知 分布式追踪 基于cassandra 的metrics tdsb ManageIQ 支持 参考架构 包含的组件 说明 hawkular 目前发版很慢,基本属于维护状态了,但是设计还是很不错的,很值得研究下 参考资料 https://www.hawkular.org/https:/ 阅读全文

posted @ 2021-08-07 21:19 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

cloudevents 学习二 java 代码集成试用
摘要:主要是测试cloudevents 与java 的集成(client 使用nodejs) nodejs client const axios = require("axios").default; const { emitterFor, Mode, HTTP,CloudEvent } = requir 阅读全文

posted @ 2021-08-04 19:39 荣锋亮 阅读(852) 评论(0) 推荐(0) 编辑

cloudevents 学习一 js sdk 试用
摘要:server package.json { "name": "node", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "axios": "^0.21.1", "body-parser": " 阅读全文

posted @ 2021-08-04 19:37 荣锋亮 阅读(164) 评论(0) 推荐(0) 编辑

dremio 创建反射的命令
摘要:dremio 官方提供了不只是基于ui 的反射操作,同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

posted @ 2021-08-03 20:47 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

dremio 的外部反射使用说明
摘要:dremio 外部反射的意思是,反射的数据是在外部存储中,而不是由dremio 自己生成的,典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据 创建外部反射 创建vds CREATE VDS "myWorkspace"."sales_by_region" AS SELECT AV 阅读全文

posted @ 2021-08-02 21:39 荣锋亮 阅读(301) 评论(0) 推荐(0) 编辑

dremio 外部查询
摘要:外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理 注意不是双引号,而且两个单引号 SELECT * FROM table(mdm_oracle.external_q 阅读全文

posted @ 2021-08-02 20:09 荣锋亮 阅读(143) 评论(0) 推荐(0) 编辑

docker容器添加字体文件
摘要:一个比较常见的问题,主要是项目使用docker运行,进行了图片的处理,但是缺少相关的字体文件 解决方法 可以直接拷贝字体文件到镜像中,或者自己安装(比较推荐直接copy的,同时windows 的字体文件也是可以兼容) 参考dockerfile FROM openjdk:8 COPY --from=h 阅读全文

posted @ 2021-08-02 20:08 荣锋亮 阅读(3471) 评论(0) 推荐(1) 编辑

Macaroons 101: Contextual Confinement
摘要:转自:https://evancordell.com/posts/macaroons-101-contextual-confinement/ 主要是关于Macaroons的介绍使用 Macaroons, like Fezzes, are cool. If you find yourself disa 阅读全文

posted @ 2021-08-01 13:25 荣锋亮 阅读(165) 评论(0) 推荐(0) 编辑

几种基于token 认证的标准
摘要:整理几个关于token 的协议 jwt 这个大家日常使用就比较多了,资料也比较多问题:选项比较多(主要还是协议相关的的定义太多了) paseto 类似jwt,简化了处理问题:不是很活跃 macaroon 这个目前也是在学习的时候发现的,来源与google search 的论文,与通常的有点差异,从官 阅读全文

posted @ 2021-08-01 12:12 荣锋亮 阅读(270) 评论(0) 推荐(0) 编辑

导航