荣锋亮 - 博客园

Fluid Framework微软开源的构建实时分布式协作web 应用的框架

摘要：现在对于实时web 协作的需求是越来越多了，大家的做法会很多，而且业界也有不少开源的（微软也很早也开源了singalr 实时框架）meteor 也是一个不错的选择，yjs 也是一个框架（基于p2p的），Fluid Framework 是微软开源的新项目参考架构说明目前对于Fluid servi 阅读全文

posted @ 2022-01-23 21:45 荣锋亮阅读(430) 评论(0) 推荐(0) 编辑

modelmapper 简单智能的对象映射工具

摘要：对象映射工具很多，modelmapper 是另外一个不错的选择特性智能，大部分已经帮助大家解决了映射处理便于代码重构基于约定可扩展参考使用具体源码可以参考官方文档源模型目的 @Data public class OrderDTO { private String customerF 阅读全文

posted @ 2022-01-23 21:23 荣锋亮阅读(178) 评论(0) 推荐(0) 编辑

基于commons-discovery 开发简单的插件化java系统

摘要： commons-discovery 是一个工具包，基于此我们可以实现java class 的发现，实现一个简单的插件化系统（类似spi）提供的方法参考如下，提供了静态以及实例方法，还是比较方便的，静态方法可以用来扩展spi 的处理，简单场景使用实例方法就可以了参考使用静态方法 Propert 阅读全文

posted @ 2022-01-23 19:58 荣锋亮阅读(1312) 评论(0) 推荐(0) 编辑

基于dremio 开发一个简单的反向ETL

摘要：反向ETL 目前是一个和不错的领域，以下是自己基于一些工具集成参考构思的一个反向ETL 设计方案，具体编码还在规划中以下简单介绍下一些思路参考图简单说明核心是利用了dremio 数据反射以及CTAS 能力（也支持drop），对于数据使用了快照的处理，直接存储在s3中，格式使用了基于时间分区的格阅读全文

posted @ 2022-01-20 23:36 荣锋亮阅读(182) 评论(0) 推荐(0) 编辑

dremio 20 版本可以下载体验了

摘要：就在1.18 号官方终于发布了20 版本的社区版（19.3 也提供了）大家可以体验了 docker-compose 运行 version: '3' services: dremio: image: dremio/dremio-oss:20.0.0 ports: - "9047:9047" - "31 阅读全文

posted @ 2022-01-20 00:17 荣锋亮阅读(121) 评论(0) 推荐(0) 编辑

image-combiner 方便的图片合成包

摘要： image-combiner 国人开源的一个工具包还是很方便的，可以方便的搞一些图片以及文字处理参考使用代码 package com.dalong; import com.freewayso.image.combiner.ImageCombiner; import com.freewayso.i 阅读全文

posted @ 2022-01-16 19:22 荣锋亮阅读(670) 评论(0) 推荐(0) 编辑

使用graalvm native-image 快速暴露jar 代码为native 共享库

摘要：主要是从jgrapht 的capi 学习到的，说下整理下，后边可以用到参考玩法代码定义 package org.pkg.implnative; import org.graalvm.nativeimage.c.function.CEntryPoint; import org.graalvm.wo 阅读全文

posted @ 2022-01-16 00:23 荣锋亮阅读(331) 评论(0) 推荐(0) 编辑

data transfer project google 开源的开放服务数据传送框架

摘要： data-transfer-project 更多的是一个标准，提供了核心的组件，同时提供了参考实现，方便用户将自己的数据在不同服务商之间传递参考组件 data models 定义了数据格式，包含了类型以及元数据 adapter 包含了data apdater 以及auth ，data apadte 阅读全文

posted @ 2022-01-15 15:25 荣锋亮阅读(192) 评论(0) 推荐(0) 编辑

How Sandstorm Works

摘要：转自:https://sandstorm.io/how-it-worksSandstorm is radically different from all other web app infrastructure today. Grains: Fine-grained object containe 阅读全文

posted @ 2022-01-14 23:11 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

jimfs java 内存文件系统实现

摘要：内存文件系统是挺有意思的东西，可以帮助我们解决好多实际的问题，而且比较强大一些应用场景配置管理需要文件系统的，但是我们的配置是不同的代码片段基于内存系统实现文件操作mock 一些操作我们必须使用文件系统才能完成的，或者使用文件系统完成比较方便 jimfs 介绍谷歌开源的，基本实现的大部分ja 阅读全文

posted @ 2022-01-14 22:40 荣锋亮阅读(341) 评论(0) 推荐(0) 编辑

使用kind 部署k8s in docker

摘要：安装 go module 模式 go install sigs.k8s.io/kind@latest 创建集群 kind create cluster 效果参考架构参考资料 https://kind.sigs.k8s.io/ https://github.com/kubernetes-sigs/ 阅读全文

posted @ 2022-01-14 20:20 荣锋亮阅读(207) 评论(0) 推荐(0) 编辑

来自Castled 官方的一篇性能对比

摘要：转自:https://medium.com/castled/fastest-reverse-etl-platform-census-vs-hightouch-vs-castled-3d2975dd4e55Fastest Reverse ETL Platform: Census vs Hightouc 阅读全文

posted @ 2022-01-14 01:11 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

使用网络classloader 实现业务功能动态修改加载

摘要：日常中我们很多时候是需要进行class的动态加载的而且不希望影响业务，对于java 应用我们可以开发自己的类加载器可以方便的解决，使用网络类加载器就更加灵活了，可以更好的控制类的版本以及权限控制，而且灵活性很高（类似rpc，但是运行时还是单体的，rpc 的jvm运行时是跨主机的）参考图原理阅读全文

posted @ 2022-01-13 23:57 荣锋亮阅读(163) 评论(0) 推荐(0) 编辑

Appactive 阿里云开源的应用多活基础框架

摘要：目前开源的主要是java 的，我们可以参考学习下，发布的技术白皮书是很值得参考学习的，基于此技术白皮书我们也可以设计自己的多活框架参考资料 https://mp.weixin.qq.com/s/PLH2jyEvZxOYs8S0g93Mgghttps://github.com/alibaba/App 阅读全文

posted @ 2022-01-12 23:32 荣锋亮阅读(270) 评论(0) 推荐(0) 编辑

juicefs 内部一个定时元数据备份

摘要： juicefs 内部实际上是包含了一个自动元数据备份的能力的（json 格式 gz 了），默认是存储在对象存储中的参考代码代码主要在pkg/vfs/backup.go 中，同时也提供了cli 进行备份处理参考资料 https://github.com/juicedata/juicefs/blo 阅读全文

posted @ 2022-01-12 00:17 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

dremio 20 发布

摘要： dremio 20 已经发布了，特性挺多，包含了安全的，性能提升的，以及功能增强以下主要说明一些对于私有部署比较有意义的不兼容变动 logback.xml 的变动，审计日志影响比较大新特性审计日志（更加完善了，包含用户id，用户名，操作，sql，类型。。。。） NDV 拆分目前数据预览特性，阅读全文

posted @ 2022-01-10 00:11 荣锋亮阅读(72) 评论(0) 推荐(0) 编辑

使用juicefs 做为dremio 的分布式存储

摘要： dremio 包含了一个分布式存储的配置（默认使用本地存储），分布式存储在一些数据查询中是比较重要的比如iceberg 的支持参考使用图说明我们基于juicefs 进行s3 的挂载处理，可以明显的提升s3 的性能，此处我们可以使用hdfs 或者直接挂载的模式参考资料 https://docs 阅读全文

posted @ 2022-01-09 23:55 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

修改juicefs 源码使用oceanbase做为元数据存储

摘要：以前有说明让juicefs 支持oceanbase 的方式，但是在测试之后发现并不是很好，所以直接基于源码进行修改是一种很不错的方法代码修改主要是meta 中sql.go 具体需要的地方 Init 地方, 删除对于mysql的特殊处理,NewSession 部分也需要 // if m.db.Dr 阅读全文

posted @ 2022-01-08 23:12 荣锋亮阅读(220) 评论(0) 推荐(0) 编辑

mysql 做为juicefs 的元数据存储

摘要：环境准备 docker-compose version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ROOT_PASSWORD=dalongdemo - MYSQL_DATABASE=juicefs - MYSQL_USER=us 阅读全文

posted @ 2022-01-08 21:21 荣锋亮阅读(233) 评论(0) 推荐(0) 编辑

oceanbase odc web 部署试用

摘要： odc 是oceanbase 的开发者中心，提供了web 以及client client 比较简单就是直接运行客户端就行了（基于java开发）使用web 对于集中化管理会比较方便部署说明下载结合实际，可能会变 https://ob-front.oss-cn-hangzhou.aliyuncs. 阅读全文

posted @ 2022-01-07 14:27 荣锋亮阅读(446) 评论(0) 推荐(0) 编辑

oceanbase 几个组件说明

摘要： oceanbase 提供了比较多的组件，我们需要知道组件的作用，可以更好的方便我们进行系统开发几个组件 oceanbase database 数据库核心 oceanbase libs 主要是三方依赖 oceanbase deployer 建成obd，简化我们进行部署的 obproxy 数据库智能p 阅读全文

posted @ 2022-01-07 13:07 荣锋亮阅读(264) 评论(0) 推荐(0) 编辑

oceanbase timeout 问题

摘要：数据一个比较常见的场景，使用ob 作为ap 分析，但是默认ob 的超时时间是10s 参考解决方法修改会话时间 session 级别的 set session ob_query_timeout=2000000000; 全局级别的需要有super 的权限 SET GLOBAL ob_query_ti 阅读全文

posted @ 2022-01-06 12:34 荣锋亮阅读(1749) 评论(0) 推荐(0) 编辑

juicefs csi 集成试用

摘要：主要是一个试用，对于k8s 使用了minikube minikube 安装这个直接可以参考官方文档 (注意可能需要合理上网) curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 阅读全文

posted @ 2022-01-06 00:00 荣锋亮阅读(240) 评论(0) 推荐(0) 编辑

census 安全处理模式

摘要：通过此图以及官方的文档我们可以更好的了解实现机制参考机制详细内容参考官方文档，以下是一个参考图参考图参考资料 https://blog.getcensus.com/reverse-etl-benchmark-series-pt-1-census-44x-faster-than-hightouc 阅读全文

posted @ 2022-01-04 21:12 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

castled 简单原理说明

摘要：主要是一个简单的原理说明，具体的后续会从代码层面说明参考图 poller 接口定义 public interface WarehouseDataPoller { WarehousePollResult pollRecords(WarehousePollContext warehousePollCo 阅读全文

posted @ 2022-01-04 20:51 荣锋亮阅读(117) 评论(0) 推荐(0) 编辑

castled 运行试用

摘要： castled 官方直接提供了docker-compose 一键运行环境运行 docker-compose git clone https://github.com/castledio/castled.git cd castled docker-compose up -d pg 准备 docker 阅读全文

posted @ 2022-01-03 22:49 荣锋亮阅读(60) 评论(0) 推荐(0) 编辑

反向ETL 一些参考知识

摘要：反向ETL 实际是一种集成模式，以下这张图可以说明反向ETL 的位置参考图说明基于标准的玩法，系统开发会越来越简单，反向ETL 是从业务模型上通用化了新的处理模式，对于我们的集成会方便很多，以下一些参考资料值得学习下参考资料 https://hightouch.io/blog/reverse 阅读全文

posted @ 2022-01-03 14:56 荣锋亮阅读(193) 评论(0) 推荐(0) 编辑

castled 开源反向ETL 工具

摘要：反向ETL 是这几年因为数据集成演变出来的一个新型数据集成模式（saas 的兴起，以及外部共享的需求） castled 参考玩法支持的特性增量以及全量同步自动异常处理以及恢复弹性可靠 CFL （castled自己的一套UI框架） k8s 集成说明 castled 同时支持扩展，提供了jav 阅读全文

posted @ 2022-01-03 14:41 荣锋亮阅读(133) 评论(0) 推荐(0) 编辑

epress proxy+ nodeesi 实现简单微前端

摘要：实际上我以前也写过类似的（ssi+client esi 的）以下是一个服务器端的esi 参考玩法(内容来自youtube) 参考图环境准备 http proxy 部分代码 const app = require("express")() const proxy = require("express 阅读全文

posted @ 2022-01-03 13:18 荣锋亮阅读(64) 评论(0) 推荐(0) 编辑

ozone 为 apache hadoop 提供扩展分布式对象存储的服务

摘要：主要是为hadoop 以及cloud native 环境一共可扩展，冗余的分布式对象存储支持的特性多协议（hadoop fs 以及s3）可扩展，可以支持10亿级对象存储强一致系统 cloud native 安全（支持kereros 集成）高可用核心组件说明 ozone 做为s3 以及强阅读全文

posted @ 2022-01-02 23:45 荣锋亮阅读(221) 评论(0) 推荐(0) 编辑

esigate java esi实现框架

摘要： esigate 是esi 标准的一个java 实现，包含了server，servlet，core 等几个模块，尽管项目目前已经更新比较少了，但是是一个很不错的esi 实现，提供的扩展点也比较多特性基于ssi 的集成（cms系统）远端模版共享（和现在的微前端的集成模式比较类似） web 加速（基阅读全文

posted @ 2022-01-02 23:32 荣锋亮阅读(67) 评论(0) 推荐(0) 编辑

streamsets 可选替换工具

摘要： streamsets 是一个很不错的数据处理工具（工具齐全）或者支持的周边比较好，但是从去年开始streamsets就放弃了开源了，开源版本维持在了3.23了，对于我们需要进行数据处理以及依赖streamsets是一个不太好的消息，以下说明一些可选的替换工具一些可选工具 apache nifi 总阅读全文

posted @ 2022-01-02 22:35 荣锋亮阅读(2302) 评论(0) 推荐(0) 编辑

使用squid 让 docker for mac 支持基于容器ip 访问

摘要：尽管docker for mac 实现了类似linux 的docker 使用体验，但是毕竟使用技术上是不一样的（还是虚拟化技术）但是我们可以直接基于正向代理实现直接基于容器ip 的访问体验环境准备 docker-compose version: "3" services: nginx: imag 阅读全文

posted @ 2022-01-02 11:03 荣锋亮阅读(244) 评论(0) 推荐(0) 编辑

基于squid 暴露k8s 服务

摘要：实际上与我去年基于golang编写的一个特别简单的功能是类似的，知识基于squid 解决原有方案基于squid 的方案技术上是一样的都是正向代理，强大的地方在于利用了squid 强大的控制能力，同时可以直接使用squid 的认证，增强系统的安全说明技术上没啥核心与基于golang 的模式是阅读全文

posted @ 2022-01-01 23:43 荣锋亮阅读(134) 评论(0) 推荐(0) 编辑

TriggerMesh 开源强大的事件驱动的集成平台

摘要： TriggerMesh 是基于k8s&knative 的事件驱动的开发集成平台，我们可以基于声明式的方式进行数据集成处理可以让我们实现集成组件即代码,TriggerMesh 基于hcl 配置搞了一套自己的定义语言（hcl 本来就对于定义配置比较友好） TriggerMesh 的组件 TriggerM 阅读全文

posted @ 2021-12-31 22:20 荣锋亮阅读(310) 评论(0) 推荐(0) 编辑

juicefs 多s3 bucket 使用

摘要： juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮阅读(423) 评论(0) 推荐(0) 编辑

juicefs s3 gateway 试用

摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件基于s3 gateaway 我们可以更好的进行存储阅读全文

posted @ 2021-12-28 00:09 荣锋亮阅读(447) 评论(0) 推荐(0) 编辑

使用juicefs 让s3 更好兼容posix协议

摘要： juicefs 是一个很不错的云原生高性能共享文件系统，以下是s3的测试环境准备 docker-compose version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY=minio" - "MINI 阅读全文

posted @ 2021-12-27 23:52 荣锋亮阅读(444) 评论(0) 推荐(0) 编辑

juicefs 单机试用

摘要： juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析参考架构参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮阅读(204) 评论(0) 推荐(0) 编辑

maven 多模块父模块问题deploy 问题

摘要：很多时候我们只需要发布父pom，对于子模块需要独立处理（发布特定的子模块）解决方法忽略递归子模块 mvn clean package deploy -N // 在父pom目录指定deploy 项目 mvn clean package deploy -pl . // 在父pom目录参考mave 阅读全文

posted @ 2021-12-24 21:11 荣锋亮阅读(1770) 评论(0) 推荐(0) 编辑

导航

公告