rongfengliang-荣锋亮

摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行 原因 通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低 就是因为jdk 版本的升级，一台机器禁用了tls1.0 的 阅读全文

摘要：sbt-native-packager 是一个通用的scala 应用打包扩展，支持了多种模式的软件构建 支持的包模式 参考架构 使用 使用很简单，主要是添加配置，使用命令构建就可以了 添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文

摘要：scala 的扩展方法很强大，类似C# 提供的扩展方法能力，基于scala 的扩展方法我们可以方便的开发一个dsl 模型 比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理 参考代码 package com.dalongdemo object DSL extends App{ 阅读全文

摘要：dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

摘要：参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

摘要：dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边，而且需 阅读全文

摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有 阅读全文

摘要：superjson 是一个很不错的json 数据处理，解决了传统的数据类型处理，superjson 可以方便的处理，devalue是一个类型安全的json 处理库，funjson 是一个可以处理json 包含函数处理的工具，json-fns 也是可以的,json-functify 也是一个工具 参考 阅读全文

摘要：trpc 是一个类型安全的api 开发框架，可以利用typescript 强大的类型能力，同时也能实现数据处理的复用，以下是一个参考案例 参考demo server 端代码 package.json { "dependencies": { "@trpc/client": "^7.3.3", "@tr 阅读全文

摘要：日常开发中数据校验是很重要的，因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具，可以方便使用 参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

摘要：spring boot 4.2 之后直接支持基于注解解决了，使用很简单，但是需要严格控制跨域请求的就需要一些调整了 解决方法 自定义CorsFilter,自己创建一个bean，传入自定义的CorsConfigurationSource，CorsConfigurationSource 需要配置 一个匹 阅读全文

摘要：jcasbin的好多设计与golang的还是有些差异的，造成的问题就很明显了与golang 使用方法有差异 部分golang 的业务处理模式不能无缝的移植到java版本，RoleManager 就存在类似的问题 golang 实现 官方golang 的实现提供了一个默认RoleManager，类似其 阅读全文

摘要：以下主要说明自定义函数的使用 参考代码 自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

摘要：dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的） 解决方法 还好15 阅读全文

摘要：armeria 是一个rpc优先的微服务狂简（netty作者开发的，line 公司开源）armeria 的优点很多，而且可以方便的与其他框架集成（spring boot，很多） 包含的特性 http2 优先，完备的支持http2，支持proxy 协议 集成grpc，thrift 支持grpc-ove 阅读全文

摘要：datafuse基于rust开发的实时数据处理&&分析框架 参考架构 组件说明 fusequery 分布式查询引擎（借鉴了clickhouse） fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎 说明 因为兼容mysql 协议所以使用上还是比较方便的（但是兼容协 阅读全文

摘要：gotrue 是基于golang 开发的，通用用户管理工具，使用简单，包含的功能比较完善，同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理（但是是fork了一个分支自己维护了），具体使用后边会介绍 参考资料 https://github.com/supabase/go 阅读全文

摘要：centraldogma 支持ha模式的运行（依赖zk），以下是参考配置 环境准备 docker-compose version: "3" services: app: image: line/centraldogma volumes: - "./shiro.ini:/opt/centraldogm 阅读全文

摘要：centraldogma 支持多种安全配置，而且安全在实际业务使用中是比较重要的，以下是集成shiro 的一个简单配置 环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma volumes: - "./ 阅读全文

摘要：因为官方提供了docker 镜像，我们可以直接运行测试centraldogma 环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma ports: - "36462:36462" 运行效果 http:/ 阅读全文

摘要：centraldogma是line开源的基于git&zk&http2的服务配置管理工具，支持版本管理（基于git特性） 参考架构图 说明 使用centraldogma做为一个配置管理工具是很不错的，完善的版本管理，watch支持，同时支持ha，支持git repo 的镜像，方便的数据格式处理（jso 阅读全文

摘要：paseto 是类似jwt 的 token机制，但是相对jwt来说进行了一些扩展 格式 协议版本.目标用途.有效负载.页脚（可选） 参考格式 v2.local.QAxIpVe-ECVNI1z4xQbm_qQYomyT3h8FtV8bxkz8pBJWkT8f7HtlOpbroPDEZUKop_vagl 阅读全文

摘要：参考图 说明 机制上使用了官方的casbin-server，同时结合了grpc 协议，添加了注册中心模式，认证处理按照不同的数据进行了shared，同时为了提升节点的负载可以基于注册中心能力以及watcher 机制保证数据的一致性，对于统一的处理基于注册中心以及auth-proxy 模式简化客户端的 阅读全文

摘要：内容主要来自官方文档 高速访问场景 casbin 单实例可以支持10000 r/s 的处理 ，对于请求比较频繁的可以参考如下处理 多线程 多实例 policy rule 过多的场景 可能是模型设计问题，需要重新调整下 基于分片机制解决，不同租户使用不同的casbin 实例，同时基于filter处理（ 阅读全文

摘要：casbin 支持比较完备的访问控制模型（acl,rbac,abac...）同时casbin也提供了一个acaas 的服务模型（casbin server） 特性 支持比较完备的访问控制模式 支持不同数据库的adapter 多语言支持（包含了基本上大家常用的开发语言，而且使用上是一致的） 支持大规模 阅读全文

摘要：xid 使用了类似mongo objectid 的 算法模型 包含的特性 12 字节，类似uuid 以及snowflask base32 编码，同时支持排序 可反解码 参考使用 package main import ( "log" "github.com/rs/xid" ) func main() 阅读全文

摘要：jcasbin 默认的Enforcer 构造函数在处理FilteredAdapter的时候有些问题（造成的问题是运行正常，但是过程有问题） 原有参考代码 public Enforcer(Model m, Adapter adapter) { this.adapter = adapter; this. 阅读全文

摘要：具体变动可以参考源码，也是基于官方的redis watcher 进行的修改 具体变动 支持redis 包含密码的链接（很简单暴露jedispool就可以了） 支持redis channel 回调channel 名称暴露（方便控制不同租户以及多实例的处理，但是还是有写缺陷的，应该提供一个独立通知暴露点 阅读全文

摘要：今天cube.js 发布了0.27.31 版本，提供了以下特性 变动 playground 支持query tab，方便使用queryTransformer 变动为了 queryRewrite（目前兼容）这个名称看着更加合理了预聚合推荐处理（尤其是大量数据加载的时候）这个目前cubestore 还是 阅读全文

摘要：为了方便jdk 以及相关依赖的管理，我都是使用sdkman 管理的，但是大家可能会碰到 Stop! maven is not a valid candidate 类似的问题 解决方法 注意执行之后还需要开启新的终端，不然会不生效的 sdk flush candidates 参考资料 https:// 阅读全文

摘要：lakefs 是基于golang编写的兼容git 的对象存储 特性 包含了git 的能力，同时方便集成数据ci/cd，同时可以方便的和现有的数据技术栈集成 使用 基于docker-compose运行 docker-compose 文件 version: '3' services: lakefs: i 阅读全文

摘要：readme.so 官方是提供了docker 构建的，搜索了下发现暂时还没有docker镜像就自己搞了一个 参考使用 docker run -d -p 3000:3000 dalongrong/readme.so 效果 说明 已经推送docker官方了，可以直接使用 参考资料 https://git 阅读全文

摘要：readme.so 是一个web网站，可以用来方便的生成标准的readme 文件是一个很值得使用的工具（而且开源） 参考效果 参考资料 https://readme.so/https://github.com/octokatherine/readme.so 阅读全文

摘要：Delta Sharing 是delta 团队提出的数据共享方案，发布时间不是很长(看github 的信息不到一个月)，但是理念是很不错的提供了一个开放安全的进行数据共享的协议，同时官方也提供了一个server的实现 参考玩法 说明 Delta Sharing 是基于rest api 提供服务的，目 阅读全文

摘要：dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题 问题描述 因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver） 问 阅读全文