荣锋亮 - 博客园

frontend-maven-plugin webjars 模式构建web app

摘要： webjars 没有太多高深的技术，我以前也写过相关介绍，webjars 的好处是灵活，而且利用了好多servelet 的特性，同时定义了比较好的业界实现，是一个很值得参考的玩法参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <projec 阅读全文

posted @ 2022-02-06 20:23 荣锋亮阅读(76) 评论(0) 推荐(0) 编辑

reactive-interaction-gateway响应式交互网关

摘要： reactive-interaction-gateway 的目的是让当前的微服务实时化，基于elixir 开发来自官方的参考图参考架构参考玩法说明目前类似real time gateway 还是挺多的，基于reactive-interaction-gateway可以让我们的微服务应用变成事阅读全文

posted @ 2022-02-06 11:03 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

grouparoo 源码项目结构

摘要：以前我也简单写了一些关于grouparoo处理的，后边计划顺着源码处理研究下项目结构 grouparoo 包含了不少模块，属于一个monorepo，但是没有使用大家常用的yarn workspace 或者lerna 的workspace 而是使用了pnpm进行多workspace 的管理使用le 阅读全文

posted @ 2022-02-06 10:32 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

glob 方便的nodejs 文件查找包

摘要： glob 包在nodejs 领域使用是很广的，是一个很强大文件查找工具包简单使用 const glob = require("glob") glob("**/*.js", {}, function (er, files) { if(er){ console.log("some wrong",er) 阅读全文

posted @ 2022-02-05 22:21 荣锋亮阅读(291) 评论(0) 推荐(0) 编辑

actionhero Initializer的优先级

摘要： actionhero 的Initializer 是包含了优先级的，对于一些场景下我们是需要关注的参考定义 src/classes/initializer.ts export abstract class Initializer { /**The name of the Initializer. * 阅读全文

posted @ 2022-02-05 21:44 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

grouparoo 插件加载处理

摘要： grouparoo 的插件处理与actionhero 是一致的，只是grouparoo增强扩展了下，支持了插件的自动加载以及reload 参考处理机制 core/src/initializers/plugins.ts 参考代码（主要是核心插件以及UI） async initialize() { ap 阅读全文

posted @ 2022-02-05 21:33 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

actionherojs 插件restart 说明

摘要： actionherojs 是提供了一种restart的机制，以下是简单说明下服务restart api // 引入api import {Action, api} from "actionhero" module.exports = class MyDemoAction extends Actio 阅读全文

posted @ 2022-02-05 19:40 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

浏览器指纹信息获取js 包的使用

摘要：昨天简单介绍过几个浏览器指纹信息的包，以下简单使用下 browser_fingerprint browser_fingerprint 是actionhero 开发的，属于一个服务器端的处理，如果使用过里边actionhero会发现响应li bian直接包含了一个fingerprint 参考代码 co 阅读全文

posted @ 2022-02-05 14:13 荣锋亮阅读(1131) 评论(0) 推荐(0) 编辑

primus 通用实时框架包装

摘要： primus 主要是一个包装，解决了实时通信框架的问题优点可以实现灵活的实时框架替换,而不需要修改太多的代码内置重连机制离线捕捉重连自动消息的编解码处理说明 actionherojs 内部对于websocket 的处理就包装了primus，对于进行实时框架的处理，还是值得选择的，而且pr 阅读全文

posted @ 2022-02-04 23:24 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

actionherojs 的插件机制

摘要： actionherojs 的插件机制是比较强大的，基于插件我们可以直接实现npm包的安装与卸载，同时利用提供的reload api 实现模块功能的生效（grouparoo 就利用了这些特性）创建一个插件代码结构可以使用actionherojs 的cli 创建 ├── README.md ├─ 阅读全文

posted @ 2022-02-04 21:16 荣锋亮阅读(78) 评论(0) 推荐(0) 编辑

actionherojs 中间件参考流程

摘要： actionherojs 做为一个插件化的框架，还是很强大的，支持中间件模式以下是一些参考流程 action 处理流程图 Task 处理流程目前官方支持的中间件类型 Action Connection Chat Task 说明 actionherojs 的设计还是比较简介的，但是很强大,基于它搞一阅读全文

posted @ 2022-02-04 11:56 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

让自己的npm包支持npm WARN deprecated

摘要： npm WARN deprecated 的目的是让使用npm的人知道，使用的某些版本因为安全漏洞，或者维护问题，不在支持了需要使用者使用其他版本的，让自己开发的npm 支持 npm WARN deprecated 主要核心还是使用了npm 自带的命令 npm deprecate 命令参考格式 np 阅读全文

posted @ 2022-02-03 22:36 荣锋亮阅读(5049) 评论(0) 推荐(0) 编辑

grapesjs 强大的web builder 框架

摘要： grapesjs 是一个开源免费的web builder 框架，可以用来实现基于模版不需要代码的工具（cms，表单设计器。。。）说明现在好多的无代码以及低代码都会选择表单设计器进行开发，参考下grapesjs 是一个很不错的选择参考资料 https://github.com/artf/grap 阅读全文

posted @ 2022-02-03 12:44 荣锋亮阅读(487) 评论(0) 推荐(0) 编辑

浏览器指纹信息获取npm 包

摘要：浏览器指纹信息在数据分析领域是比较重要的，目前开源的工具也不少，以下整理一些说明一些是server端的，一些是基于浏览器的，很多时候需要多种模式一起才能唯一确定，比如我们结合browser_fingerprint以及clientjs就可以相对稳定的确定浏览器标示了参考资料 https://gi 阅读全文

posted @ 2022-02-03 11:41 荣锋亮阅读(120) 评论(0) 推荐(0) 编辑

grouparoo 数据流

摘要：内容来自官方文档，基于此我们可以了解grouparoo 各组件的工作流程可以方便源码的学习阅读（目前官方关于架构介绍的比较少）参考介绍参考图简单说明图中的不少都是以插件模式开发的，core，以及cli 是比较核心的，以上组件大部分是利用了actionherojs的特性说明 grouparo 阅读全文

posted @ 2022-02-03 00:14 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

actionherojs 生产部署说明

摘要： actionherojs 支持集群以及ha 模式，同时支持web 与worker分离参考图 woker&web分离配置 / Assume we use the flag \`process.env.ACTIONHERO_ROLE\` to denote the type of server // 阅读全文

posted @ 2022-02-02 22:57 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

actionherojs 强大的nodejs api 框架

摘要： actionherojs 明显是被低估的nodejs 框架，支持的特性不少，而且是groupraoo 的核心依赖一般的业务场景后台任务开发实时以及基于http的链接服务自动reload以及开发环境热加载集群部署（单机以及多机）支持集群共享cache，广播消息数据库应用，插件化集成mong 阅读全文

posted @ 2022-02-02 19:52 荣锋亮阅读(189) 评论(0) 推荐(0) 编辑

基于juicefs +s3 开发简单的多租户git 服务

摘要：参考图简单说明利用了git 的http 协议，基于juicefs 进行不同租户git 代码的隔离，元数据使用不用的，同时git server 可以直接基于golang，nodejs 开发，也可以使用容器或者虚拟机运行git server，因为基于http 协议，我们可以扩展一层auth 认证，同阅读全文

posted @ 2022-02-02 14:25 荣锋亮阅读(107) 评论(0) 推荐(0) 编辑

使用juicefs 解决基于s3做为git 存储的问题

摘要：开发一个自定义的git server 实际上是比较有意思的，而且很多时候也能解决我们好多问题一些场景基于git 的配置管理基于git 的数据同步基于git 的数据备份存储的问题对于git的数据存储，我们有几种方法，本地，共享存储（nas,nfs）本地的问题很明显，不能共享，使用有点费事阅读全文

posted @ 2022-02-02 13:53 荣锋亮阅读(203) 评论(0) 推荐(0) 编辑

Building a Sync Engin

摘要：内容来自：https://www.grouparoo.com/blog/building-a-sync-engine 内容主要介绍了如何开发一个同步引擎，没有太多高深的，主要是基于了变动的时间戳以及水印算法简单说明预备添加水印列，当然对于不同的数据库处理方式会不一样的，有些可能需要通过触发器阅读全文

posted @ 2022-02-01 21:07 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

grouparoo 基于nodejs 的开源反向ETL 工具

摘要： grouparoo 是一个基于nodejs 开发的反向ETL 工具，通过此我们可以学习内部机制参考使用安装 npm install -g grouparoo grouparoo init . grouparoo config 效果启动之后需要通过注册以及添加app 包含ui 管理，支持的app 阅读全文

posted @ 2022-02-01 19:59 荣锋亮阅读(189) 评论(0) 推荐(0) 编辑

Castled 源码解析 - container 模块说明

摘要： container 属于Castled api 后端服务，后端包含了任务调度，db 迁移，有几个服务是比较重要的主要是pipelineservice，ExternalAppService，WarehouseService，而且官方还提供了一套基于events 的处理主要包含PipelineEve 阅读全文

posted @ 2022-02-01 13:22 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

Castled 源码解析 - connector 模块几个中间表定义

摘要： Castled 的connector利用了schema 以及中间表进行数据存储（包含的已经提交的，未提交的）官方使用了一个属于snapshot(快照)，对于数据的处理，官方使用了excep sql 函数，基于不同时间的snapshot 利用excep 就可以知道数据的变动几个提供的中间表主要阅读全文

posted @ 2022-01-31 23:23 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

Castled 源码解析 - connector 模块WarehousePollContext 说明

摘要： connector模块中的WarehousePollContext是比较重要的代码说明关于pipeline 格式的定义了解pipeline格式定义，对于分析后边的代码是很有意义的,可以知道依赖的模块 public class PipelineConfigDTO { @NotNull priva 阅读全文

posted @ 2022-01-31 22:58 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

Castled 源码解析 - connector 模块app部分说明

摘要： app 部分属于Castled处理外部链接的核心，主要包含了ExternalAppConnector以及DataSink 核心组件 ExternalAppConnector 选取了部分 DataSink 选取了部分 BufferedObjectSink 此对象是在每个DataSink实现都会包含的一阅读全文

posted @ 2022-01-31 22:36 荣锋亮阅读(70) 评论(0) 推荐(0) 编辑

Castled 源码解析 - connector 模块connector以及poller说明

摘要： connector 属于Castled 一个比较核心的东西，包含了核心部分的datawarehouse数据poll 处理，同时也包含了对于不同外部服务集成的处理当然才代码中我们也可以看到一部分基于stream 的处理（文件，jdbc，s3.。。。），auth部分基于了oauth目前更多是关注认证，阅读全文

posted @ 2022-01-31 21:28 荣锋亮阅读(48) 评论(0) 推荐(0) 编辑

Castled 源码解析 - common 模块说明

摘要： Castled 的comon 模块包含了一个比较核心的东西form处理（官方成为CFL），同时也包含了一个常用的工具类CFL 是基于注解处理的，整体代码不是很多，比较重要的是schema，cfl，同时包含了Castled 自己开发的一个简单队列（阻塞以及带偏移的），同时定义了一些关于数据处理的接口定阅读全文

posted @ 2022-01-31 14:06 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

Castled 源码解析 - jarvis 模块说明

摘要： jarvis 模块主要保基于quartz 包装了一些调度以及任务管理,包含了刷新job ，全局job 同时也暴露为了一个通用的guice 模块，同时基于jesque进行后台任务以及延迟任务的处理通过代码会发现jesque 占比是比较多的（好多任务处理的，状态标记的），而且quartz更多是与后台阅读全文

posted @ 2022-01-31 14:00 荣锋亮阅读(215) 评论(0) 推荐(0) 编辑

substrait 关系代数跨语言序列化协议

摘要： substrait 是最近开源的一个很不错的项目，主要是用来解决关系代数的转换，可视化，主要是想实现一个通用的sql 处理标准项目很多参考了apache calcite 以及apache arrow，官方目前已经包含了一个参考指南说明 substrait 从目前项目的规划以及介绍还是很有前途的，值阅读全文

posted @ 2022-01-31 00:08 荣锋亮阅读(850) 评论(0) 推荐(0) 编辑

data-feedback-loop

摘要：内容来自以下链接，很不错值得学习，可以改进saas 的模式一张参考图参考资料https://tomtunguz.com/data-feedback-loop/ 阅读全文

posted @ 2022-01-30 00:02 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

几种前后端分离开发部署模式说明

摘要：没啥技术含量，主要是说明下几种模式，大家可以参考前后端彻底分离部署模式一参考图说明：利用ci/cd 基于nginx 部署静态网站(website 直接存储在nginx服务器中)，接口调用使用独立的api gateway，此方法的好处是不同的团队负责，而且nginx 特别适合前端静态资源，不阅读全文

posted @ 2022-01-29 23:28 荣锋亮阅读(615) 评论(0) 推荐(0) 编辑

objection.js 基于knex 构建的sql 友好的ORM 框架

摘要： objection.js 是基于knex 扩展的orm 框架，使用简单，功能强大其中的graph 操作很方便，而且支持hooks 可以进行扩展支持的特性简单便捷的定义模型（包含关系）支持强大的sql crud 操作强大的对象图操作，eager loading，inserting，upsert 阅读全文

posted @ 2022-01-29 22:32 荣锋亮阅读(356) 评论(0) 推荐(0) 编辑

frontend-maven-plugin 插件学习

摘要：目的很简单就是学习下frontend-maven-plugin 的使用，同时集成到spring boot 应用中参考玩法整体参考图代码结构 ├── README.md ├── console │ ├── pom.xml │ └── src │ ├── main │ │ ├── java │ │ 阅读全文

posted @ 2022-01-29 16:12 荣锋亮阅读(3356) 评论(0) 推荐(0) 编辑

升级版本的dremio cratedb arp 开发

摘要：记得去年的时候开发过一个cratedb 的arp 扩展，很粗糙，基本能用，但是很不好，以下是一个更加规范版本的，而且更好的集成官方的 test（关于dremio 测试的，我已经简单介绍过，很方便，而且比较友好）改进版本的开发核心部分主要是关于自动元数据发现以及，数据查询的，以前版本为了方便查询阅读全文

posted @ 2022-01-27 23:39 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

dremio arp 开发值得参考的链接

摘要：链接包含了两个，一个是社区的沟通，一个是官方问文档，官方文档是值得参考学习的社区沟通比较有参考意义，尤其是关于SourceTypeDescriptor的（我以前开发arp 扩展也是使用了此方法）参考资料 https://community.dremio.com/t/arp-is-so-restri 阅读全文

posted @ 2022-01-27 12:39 荣锋亮阅读(55) 评论(0) 推荐(0) 编辑

dremio 链接starrocks 的方法

摘要： dremio 默认官方使用的是maridb 的jdbc 驱动，在链接doris 以及starrocks 的时候是会有问题的当然链接singlestore也是有问题的，解决方法使用mysql 驱动进行替换，我已经开发了相关的arp目前也已经支持了20版本的，而且经过测试是可行，没有问题的(同时也合并阅读全文

posted @ 2022-01-27 11:54 荣锋亮阅读(319) 评论(0) 推荐(0) 编辑

ssh 端口转发

摘要： ssh 是一个很强大的工具，不仅可以用来登录linux 服务器，而且可以进行端口转发，实现一个有趣的东西可以解决我们实际开发中不少问题，以下简单说明下本地转发可以实现本地访问远端需要特定权限的数据常见可以解决的问题：比如容器环境访问，远端db因为安全问题不能直接访问，通过ssh 通道加密同时支持阅读全文

posted @ 2022-01-26 11:42 荣锋亮阅读(81) 评论(0) 推荐(0) 编辑

使用jsch 实现ssh tunnel

摘要：主要目的是解决比如访问敏感信息，我们通过加密隧道实现数据访问，而且对于数据进行加密参考图参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" x 阅读全文

posted @ 2022-01-26 00:34 荣锋亮阅读(211) 评论(0) 推荐(0) 编辑

Castled 源码解析一整体介绍

摘要：以前我大概介绍过Castled ，后边为了方便学习以及共享，会整体介绍Castled 项目代码包结构 Castled 是基于java 开发使用maven 进行包管理的，所以整体就是一个标准的maven多模块项目代码结构 ├── CODE_OF_CONDUCT.md ├── LICENSE.md 阅读全文

posted @ 2022-01-25 00:27 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

smithy aws 开源的方便开发语言无关服务SDK的idl

摘要：实际上业界开源的idl 是很多的，比如thrift，protobuf grpc smithy的特点协议无关演进式设计 api 治理面向资源说明 smithy 主要式面向代码生成，属于aws 在api 设计方面一个很不错的实践，很值得学习参考参考资料 https://awslabs.gith 阅读全文

posted @ 2022-01-23 22:35 荣锋亮阅读(207) 评论(0) 推荐(0) 编辑

导航

公告