荣锋亮 - 博客园

cube.js 新版本playground 特性

摘要：新版本playground 支持了一个很不错的特性，就是可以进行rollup 的设计（进行预聚合的判断处理）参考界面说明基于rollup 设计器我们可以进行一些灵活的控制，比如结合编辑能力方便的进行schema 的调整，进行数据加速处理参考资料 https://github.com/cube 阅读全文

posted @ 2021-07-13 22:23 荣锋亮阅读(93) 评论(0) 推荐(0) 编辑

cube.js 性能优化

摘要：核心是利用了clinicjs 进行分析流程安装clinicjs npm install -g clinic 修改启动模式修改注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

posted @ 2021-07-12 20:12 荣锋亮阅读(255) 评论(0) 推荐(0) 编辑

data mesh & data lake & data fabric

摘要：转自： https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文

posted @ 2021-07-11 22:38 荣锋亮阅读(339) 评论(0) 推荐(0) 编辑

java 几个开源dataframe 的实现包

摘要： python 的pandas 是一个很强大的dataframe 处理框架，同时java 也有spark 的dataframe 支持框架，但是spark还是有点重基于java 包的工具会更加方便，以下是几个相关的整理，使用的时候可以参考说明以下参考连接包含了具体的工具，同时官方文档都还算完备使用起阅读全文

posted @ 2021-07-11 20:09 荣锋亮阅读(2771) 评论(0) 推荐(0) 编辑

archaius netflix 的配置管理工具框架

摘要： archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架支持的特性动态属性支持动态的获取配置，同时支持事件变动监听支持polling 模式的动态配置数据源内置几个可用的配置源提供了配置以及部署上下文管理基于com.netf 阅读全文

posted @ 2021-07-11 11:25 荣锋亮阅读(266) 评论(0) 推荐(0) 编辑

dremio 文件夹数据分区

摘要：使用场景基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作参考图查询因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作说明当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一阅读全文

posted @ 2021-07-08 21:14 荣锋亮阅读(115) 评论(0) 推荐(0) 编辑

dremio 17 发布了

摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重阅读全文

posted @ 2021-07-08 21:13 荣锋亮阅读(140) 评论(0) 推荐(0) 编辑

conductor v3 docker-compose 运行

摘要：运行方式与v2 类似，主要更新了docker 镜像 docker 镜像构建目前官方暂时没有提供官方镜像，但是可以自己构建，我们只需要修改image name 同时docker-compose build 就可以了构建目录 docker 参考运行 version: '2.3' services: 阅读全文

posted @ 2021-07-05 22:56 荣锋亮阅读(477) 评论(1) 推荐(0) 编辑

使用parquetjs 创建parquet 文件

摘要： parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

posted @ 2021-07-03 23:37 荣锋亮阅读(382) 评论(0) 推荐(0) 编辑

dremio 数据格式的一些说明

摘要：内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置说明官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮阅读(163) 评论(0) 推荐(0) 编辑

集成minio sidekick & console 的测试

摘要： minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮阅读(3028) 评论(0) 推荐(0) 编辑

hermes golang email 模版包

摘要： hermes 提供了灵活的基于html 的email发送模版支持，使用简单，而且也包含了灵活的主题支持参考使用项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文

posted @ 2021-07-02 23:28 荣锋亮阅读(210) 评论(0) 推荐(0) 编辑

gothic 类似gotrue 的服务

摘要： gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务，但是比gotrue 强大了好多，支持grpc，rest，grpc web 以及其他db 的支持（gorm）说明当前gothic 还在开发中，但是是一个不错的快速用户注册以及认证服务，很值得使用参考资料 https://gi 阅读全文

posted @ 2021-07-02 23:27 荣锋亮阅读(86) 评论(0) 推荐(0) 编辑

cube.js 官方关于cube store 的一些实践说明

摘要：默认cube store 使用模式问题：如果数据大于100k问题就很明显了批处理模式 cube.js 会发送压缩的csv 文件到cube store，（同时也包含了stream模式），目前支持包含的有redshift，bigquery，mysql，postgres 导出数据到云存储基于buc 阅读全文

posted @ 2021-07-01 21:16 荣锋亮阅读(227) 评论(0) 推荐(0) 编辑

dremio sql server 链接问题

摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行原因通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低就是因为jdk 版本的升级，一台机器禁用了tls1.0 的阅读全文

posted @ 2021-06-30 22:48 荣锋亮阅读(84) 评论(0) 推荐(0) 编辑

使用sbt-native-packager 构建通用的scala 软件包

摘要： sbt-native-packager 是一个通用的scala 应用打包扩展，支持了多种模式的软件构建支持的包模式参考架构使用使用很简单，主要是添加配置，使用命令构建就可以了添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文

posted @ 2021-06-27 20:28 荣锋亮阅读(251) 评论(0) 推荐(0) 编辑

scala 扩展方法学习

摘要： scala 的扩展方法很强大，类似C# 提供的扩展方法能力，基于scala 的扩展方法我们可以方便的开发一个dsl 模型比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理参考代码 package com.dalongdemo object DSL extends App{ 阅读全文

posted @ 2021-06-27 20:12 荣锋亮阅读(174) 评论(0) 推荐(0) 编辑

dremio 几个方便的命令

摘要： dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

posted @ 2021-06-25 19:24 荣锋亮阅读(276) 评论(0) 推荐(0) 编辑

delta lake minio+dremio 集成试用

摘要：参考集成模式环境准备基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

posted @ 2021-06-24 20:38 荣锋亮阅读(967) 评论(5) 推荐(0) 编辑

dremio 多集群共享zk 配置

摘要： dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理配置配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明注意zk root 需要写在后边，而且需阅读全文

posted @ 2021-06-24 00:09 荣锋亮阅读(178) 评论(0) 推荐(0) 编辑

dremio官方正式16 发布说明

摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明更新访问控制变动具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的切片线程监视可以保证异常流量请求的正常连接池的配置这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有阅读全文

posted @ 2021-06-21 22:08 荣锋亮阅读(153) 评论(0) 推荐(0) 编辑

js json 处理几个方便的npm包

摘要： superjson 是一个很不错的json 数据处理，解决了传统的数据类型处理，superjson 可以方便的处理，devalue是一个类型安全的json 处理库，funjson 是一个可以处理json 包含函数处理的工具，json-fns 也是可以的,json-functify 也是一个工具参考阅读全文

posted @ 2021-06-20 23:26 荣锋亮阅读(696) 评论(0) 推荐(0) 编辑

trpc 基于typescript的api 开放框架

摘要： trpc 是一个类型安全的api 开发框架，可以利用typescript 强大的类型能力，同时也能实现数据处理的复用，以下是一个参考案例参考demo server 端代码 package.json { "dependencies": { "@trpc/client": "^7.3.3", "@tr 阅读全文

posted @ 2021-06-20 22:41 荣锋亮阅读(3528) 评论(0) 推荐(0) 编辑

几个不错的json schema 校验

摘要：日常开发中数据校验是很重要的，因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具，可以方便使用参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

posted @ 2021-06-20 12:31 荣锋亮阅读(432) 评论(0) 推荐(0) 编辑

spring boot cors 动态添加以及cookie 处理

摘要： spring boot 4.2 之后直接支持基于注解解决了，使用很简单，但是需要严格控制跨域请求的就需要一些调整了解决方法自定义CorsFilter,自己创建一个bean，传入自定义的CorsConfigurationSource，CorsConfigurationSource 需要配置一个匹阅读全文

posted @ 2021-06-19 11:15 荣锋亮阅读(723) 评论(0) 推荐(0) 编辑

jcasbin RoleManager问题

摘要： jcasbin的好多设计与golang的还是有些差异的，造成的问题就很明显了与golang 使用方法有差异部分golang 的业务处理模式不能无缝的移植到java版本，RoleManager 就存在类似的问题 golang 实现官方golang 的实现提供了一个默认RoleManager，类似其阅读全文

posted @ 2021-06-17 12:40 荣锋亮阅读(267) 评论(0) 推荐(0) 编辑

jcasbin 自定义函数

摘要：以下主要说明自定义函数的使用参考代码自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

posted @ 2021-06-15 21:53 荣锋亮阅读(489) 评论(2) 推荐(1) 编辑

dremio 16 回退15.7 版本问题

摘要： dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的）解决方法还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮阅读(167) 评论(0) 推荐(0) 编辑

armeria 构建响应式rpc 优先的微服务框架

摘要： armeria 是一个rpc优先的微服务狂简（netty作者开发的，line 公司开源）armeria 的优点很多，而且可以方便的与其他框架集成（spring boot，很多）包含的特性 http2 优先，完备的支持http2，支持proxy 协议集成grpc，thrift 支持grpc-ove 阅读全文

posted @ 2021-06-14 22:23 荣锋亮阅读(998) 评论(0) 推荐(1) 编辑

datafuse基于rust 开发的实时数据处理&&dbms分析系统

摘要： datafuse基于rust开发的实时数据处理&&分析框架参考架构组件说明 fusequery 分布式查询引擎（借鉴了clickhouse） fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎说明因为兼容mysql 协议所以使用上还是比较方便的（但是兼容协阅读全文

posted @ 2021-06-14 18:01 荣锋亮阅读(1590) 评论(0) 推荐(0) 编辑

gotrue netlify 开源的通用用户管理&&jwt token 工具

摘要： gotrue 是基于golang 开发的，通用用户管理工具，使用简单，包含的功能比较完善，同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理（但是是fork了一个分支自己维护了），具体使用后边会介绍参考资料 https://github.com/supabase/go 阅读全文

posted @ 2021-06-14 11:26 荣锋亮阅读(440) 评论(0) 推荐(0) 编辑

centraldogma ha 配置

摘要： centraldogma 支持ha模式的运行（依赖zk），以下是参考配置环境准备 docker-compose version: "3" services: app: image: line/centraldogma volumes: - "./shiro.ini:/opt/centraldogm 阅读全文

posted @ 2021-06-14 10:13 荣锋亮阅读(109) 评论(0) 推荐(0) 编辑

centraldogma 安全配置

摘要： centraldogma 支持多种安全配置，而且安全在实际业务使用中是比较重要的，以下是集成shiro 的一个简单配置环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma volumes: - "./ 阅读全文

posted @ 2021-06-14 09:51 荣锋亮阅读(92) 评论(0) 推荐(0) 编辑

试用centraldogma

摘要：因为官方提供了docker 镜像，我们可以直接运行测试centraldogma 环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma ports: - "36462:36462" 运行效果 http:/ 阅读全文

posted @ 2021-06-13 21:58 荣锋亮阅读(168) 评论(0) 推荐(0) 编辑

centraldogma基于git&zk&http2的高可用支持版本管理的配置服务工具

摘要： centraldogma是line开源的基于git&zk&http2的服务配置管理工具，支持版本管理（基于git特性）参考架构图说明使用centraldogma做为一个配置管理工具是很不错的，完善的版本管理，watch支持，同时支持ha，支持git repo 的镜像，方便的数据格式处理（jso 阅读全文

posted @ 2021-06-13 21:23 荣锋亮阅读(158) 评论(0) 推荐(0) 编辑

paseto token 访问模式

摘要： paseto 是类似jwt 的 token机制，但是相对jwt来说进行了一些扩展格式协议版本.目标用途.有效负载.页脚（可选）参考格式 v2.local.QAxIpVe-ECVNI1z4xQbm_qQYomyT3h8FtV8bxkz8pBJWkT8f7HtlOpbroPDEZUKop_vagl 阅读全文

posted @ 2021-06-13 18:13 荣锋亮阅读(572) 评论(0) 推荐(0) 编辑

大规模扩展casbin的一种方案

摘要：参考图说明机制上使用了官方的casbin-server，同时结合了grpc 协议，添加了注册中心模式，认证处理按照不同的数据进行了shared，同时为了提升节点的负载可以基于注册中心能力以及watcher 机制保证数据的一致性，对于统一的处理基于注册中心以及auth-proxy 模式简化客户端的阅读全文

posted @ 2021-06-13 12:04 荣锋亮阅读(518) 评论(0) 推荐(0) 编辑

casbin 性能优化的几点建议

摘要：内容主要来自官方文档高速访问场景 casbin 单实例可以支持10000 r/s 的处理，对于请求比较频繁的可以参考如下处理多线程多实例 policy rule 过多的场景可能是模型设计问题，需要重新调整下基于分片机制解决，不同租户使用不同的casbin 实例，同时基于filter处理（阅读全文

posted @ 2021-06-13 11:58 荣锋亮阅读(1490) 评论(0) 推荐(0) 编辑

使用casbin进行应用访问控制

摘要： casbin 支持比较完备的访问控制模型（acl,rbac,abac...）同时casbin也提供了一个acaas 的服务模型（casbin server）特性支持比较完备的访问控制模式支持不同数据库的adapter 多语言支持（包含了基本上大家常用的开发语言，而且使用上是一致的）支持大规模阅读全文

posted @ 2021-06-13 11:11 荣锋亮阅读(730) 评论(0) 推荐(0) 编辑

使用xid 生成唯一id

摘要： xid 使用了类似mongo objectid 的算法模型包含的特性 12 字节，类似uuid 以及snowflask base32 编码，同时支持排序可反解码参考使用 package main import ( "log" "github.com/rs/xid" ) func main() 阅读全文

posted @ 2021-06-13 10:31 荣锋亮阅读(528) 评论(0) 推荐(0) 编辑

导航

公告