11 2021 档案

jfilter一个方便的spring rest 响应过滤扩展
摘要:jfilter 技术上是利用了ControllerAdvice以及ResponseBodyAdvice 在beforeBodyWrite中进行响应内容的处理jfilter利用了自定义注解技术,同时官方文档还是比较全的,值得学习下 参考处理流程 说明 实际上jersey 也提供了类似的能力(filte 阅读全文

posted @ 2021-11-28 23:21 荣锋亮 阅读(137) 评论(0) 推荐(0) 编辑

meow 辅助开发cli 应用的工具
摘要:cli 应用开发是一门技术活,开发好的cli 对于用户的体验也是影响很大的,类似的oclif 是一个不错的工具meow 也是一个新的cli 开发工具,很值得尝试下 参考资料 https://github.com/sindresorhus/meowhttps://clig.dev/#the-basic 阅读全文

posted @ 2021-11-27 13:37 荣锋亮 阅读(176) 评论(0) 推荐(0) 编辑

使用remix 进行web开发
摘要:remix 是一个新的开发web 的框架,一个比较明显的特点是高性能,同时开发模式简单官方文档完备,而且数据可以并行加载,支持服务器端渲染,可以集成的框架也比较多 参考使用 创建项目 项目结构 运行效果 参考资料 https://remix.run/docs/en/v1/tutorials/blog 阅读全文

posted @ 2021-11-27 13:36 荣锋亮 阅读(462) 评论(0) 推荐(0) 编辑

oceanbase 最好使用obproxy 进行访问
摘要:oceanbase 提供了obproxy 进行智能路由,从实际运行了解中,此组件是最好部署以及使用的 架构介绍 说明 在进行多租户部署以及集群zone 是多observer 的时候obproxy 的意义就很明显了,具体连接那个observer 就会是一个问题,而且容易出现异常 比如可能会出现如下问题 阅读全文

posted @ 2021-11-27 12:31 荣锋亮 阅读(446) 评论(0) 推荐(0) 编辑

oceanbase 扩容缩容处理
摘要:内容来自官方文档,是值得参考的操作模式 扩容 缩容 阅读全文

posted @ 2021-11-27 12:22 荣锋亮 阅读(140) 评论(0) 推荐(0) 编辑

maven-default-http-blocker 问题
摘要:主要是从maven 3.8.1需要使用https,但是公司内部maven 是http的所以会存在此问题,以下链接包含了解决方法简单的方式是使用低版本规避此问题,但是从安全角度支持https 才是最好的解决方法 参考资料 https://stackoverflow.com/questions/6700 阅读全文

posted @ 2021-11-26 21:25 荣锋亮 阅读(1401) 评论(0) 推荐(1) 编辑

oceanbase 资源池删除说明
摘要:对于新创建的不包含租户的资源池我们是可以直接删除的,但是如果包含了租户是不能直接删除的 如果需要删除就需要先删除租户,然后在操作 参考命令 // 先删除租户 DROP TENANT t1 FORCE; // 删除资源池 DROP RESOURCE POOL poolname; 参考资料 https: 阅读全文

posted @ 2021-11-25 23:36 荣锋亮 阅读(210) 评论(0) 推荐(0) 编辑

基于obd 的oceanbase 扩容说明
摘要:基于obd 进行oceanbase 扩容是一个很不错的选择(而且也是官方推荐的)以下是 关于基于obd 进行oceanbase扩容的说明 流程 需要创建一个新的部署(新集群部署) 此处的目的是进行oceanbase 安装环境的分发(基于ssh 或者用户密码进行软件包以及基本配置) 核心原有配置与新的 阅读全文

posted @ 2021-11-25 23:20 荣锋亮 阅读(148) 评论(0) 推荐(0) 编辑

oceanbase 普通租户root 默认密码安全问题
摘要:如果参考官方文档进行oceanbase 普通租户创建,会看到一个关于默认需要使用root@<ttenant_name> 登录的问题 默认root 是没有密码的,如果需要访问我们需要添加SET VARIABLES ob_tcp_invited_nodes='%'; 问题就很明显了,默认没密码会有安全问 阅读全文

posted @ 2021-11-25 23:10 荣锋亮 阅读(1448) 评论(0) 推荐(0) 编辑

oceanbase docker运行试用(一)
摘要:基于docker 运行最小系统(最少需要10G内存) 环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini environment: - "OB_ROOT_PASSWORD=dalongrong" ports: - "288 阅读全文

posted @ 2021-11-23 22:39 荣锋亮 阅读(196) 评论(0) 推荐(0) 编辑

关于graalvm 的一些官方QA
摘要:主要是发现nodejs 与基于graalvm 的nodejs 性能更好,官方以及github 都有相关的说明可以推荐阅读下,方便进行性能分析以及优化 说明 总的来说基于graalvm 运行nodejs 项目是一个可选的模式,但是性能上并不是特别的好(实际运行也存在类似的问题)而且如果关注的话,grr 阅读全文

posted @ 2021-11-21 21:32 荣锋亮 阅读(127) 评论(0) 推荐(0) 编辑

typescript 编写自定义定义文件
摘要:尽管typescript 提供了直接引用外部定义文件的功能(@types),但是很多时候以前的模块以及 公司内部的项目都不好方便的支持typescript 类型特性,以下是一个简单的集成说明 环境准备 项目结构 ├── app-demo ├── app-demo-types └── app-lear 阅读全文

posted @ 2021-11-21 20:56 荣锋亮 阅读(403) 评论(0) 推荐(0) 编辑

基于graalvm 开发一个cube.js jdbc driver 的思路
摘要:主要说明下具体实现方式,代码还在编写中,后边会提供出来 原理说明 直接利用graalvm 方便的访问jdbc 的能力,不需要额外的处理,而且也不需要处理callback 的问题 内部实现上参考了cube.js jdbc 的实现,但是会比官方的简单很多(运行方便,官方是基于addon 的比较费事) j 阅读全文

posted @ 2021-11-20 15:35 荣锋亮 阅读(171) 评论(0) 推荐(0) 编辑

使用graalvm 进行node 与java 代码的调用
摘要:参考使用 演示的是一个jdbc的连接 var url = "jdbc:mysql://localhost:2881?useSSL=false"; var username = "root"; var password = ""; Java.addToClasspath("hashids-1.0.3. 阅读全文

posted @ 2021-11-20 13:35 荣锋亮 阅读(371) 评论(0) 推荐(0) 编辑

npm 镜像加速
摘要:日常npm 加速使用还是比较多的,但是最近淘宝的有问题了(域名切换+同步问题)造成好多npm镜像不能使用 最近测试比较靠谱的有华为的以及腾讯云的 参考配置 npm config set registry https://registry.npmmirror.com npm config set re 阅读全文

posted @ 2021-11-20 12:35 荣锋亮 阅读(167) 评论(0) 推荐(0) 编辑

OpenMetadata 0.6 版本发布了
摘要:OpenMetadata 0.6 版本特性很多,而且都是好东西,比较推荐大家体验下 主要的新特性 元数据版本 event api ML 以及data models新模型 支持dbt 以及mariadb connectors 说明 0.6 功能是很多的,值得体验试用 参考资料 https://gith 阅读全文

posted @ 2021-11-18 23:19 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

cube.js sql 支持简单说明
摘要:目前cube.js 官方文档提供了sql 的说明,同时cube cloud 也可以体验了。。。。 cubesql 设计还是比较有意思的,具体的我以前也简单介绍过,目前官方 文档提供了之后可以更好的学习了解,而且还提供了一个灵活的认证接口 module.exports = { checkSqlAuth 阅读全文

posted @ 2021-11-18 23:04 荣锋亮 阅读(183) 评论(0) 推荐(0) 编辑

apache kyuubi Frontend 支持mysql 协议
摘要:当然此特性还在开发中,是一个比较期待的特性,可以简化我们对于spark 的使用,后续详细介绍下 参考资料 https://github.com/apache/incubator-kyuubi/issues/1219 阅读全文

posted @ 2021-11-18 22:51 荣锋亮 阅读(194) 评论(0) 推荐(0) 编辑

cube.js schema 定义多datasource 说明
摘要:实际上我以前有写过类似的使用比较简单,以下明确说明下 参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi 阅读全文

posted @ 2021-11-18 22:44 荣锋亮 阅读(161) 评论(0) 推荐(0) 编辑

基于dremio+oceanbase+cube.js 数据服务开发
摘要:主要是一个集成尝试参考图如下: 说明:可以直接基于dremio (vds),或者直接使用oceanbase 的(olap,oltp)能力进行数据服务提供(多租户)同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发,直接基于oceanbase 的好处是多租户能力,以及 阅读全文

posted @ 2021-11-18 01:02 荣锋亮 阅读(103) 评论(0) 推荐(0) 编辑

cube.js 支持oceanbase 的mysql driver
摘要:因为官方mysql driver的bug,暂时issue 还没合并,所以临时开发了一个修复bug 的driver 可以直接参考使用 参考使用 环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini ports: - "2881 阅读全文

posted @ 2021-11-18 00:34 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

cube.js 集成oceanbase
摘要:因为oceanbase 支持mysql 协议,所以集成就是标准的sql 操作,但是这里有一个问题就是 目前cube.js mysql 在集成连接池的时候是有bug 的,具体修改方法如下 核心代码 destroy: (connection) => connection.end() 具体原因 因为cub 阅读全文

posted @ 2021-11-17 22:47 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dremio mysql arp 扩展
摘要:开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容(比如oceanbase。。。doris 暂时还没测试) 因为默认官方的是基于maridb的(对于类mysql db 兼容有点问题) 参考代码 核心是arp conf 调整了支持使用mysql jdbc,默认使用了maridb 阅读全文

posted @ 2021-11-17 22:36 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑

Delta Sharing 最近新特性
摘要:Delta Sharing 发布了0.2.0 支持了一个新的特性 新特性 官方docker 镜像 添加了conf 目录,方便支持hadoop 等的配置(比如自定义s3的。。。) 说明 目前来说Delta Sharing对于spark 周边支持的还是比较好的,但是还是稍等一些生态,是一种不错的数据共享 阅读全文

posted @ 2021-11-14 23:58 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi
摘要:haproxy dataplaneapi 今年的变动还是比较大的,比如支持了服务发现(consul,aws。。。)而且配置文件也支持了yaml,hcl 等格式的 说明 类似基于agent 模式的设计模式也是一种比较常见的玩法,比如基于confd的nginx 管理,以及百度bfe 的agent 玩法h 阅读全文

posted @ 2021-11-14 23:35 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑

apache kyuubi + dremio 集成试用
摘要:主要是一个玩法的集成,使用apache kyuubi 简化spark 的使用,而且如果我们集成数据库存储格式也是很方便的(感谢网易做出的贡献) 参考图 简单说明: 我们直接基于apache kyuubi 进行delta lake 的操作,数据存储到minio s3 中,然后使用dremio 强大的能 阅读全文

posted @ 2021-11-14 21:05 荣锋亮 阅读(827) 评论(0) 推荐(0) 编辑

apache kyuubi 参考架构集成
摘要:apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台(当前主要基于spark,当然也会支持其他引擎)使用apache kyuubi 的好处是支持开了多租户,同时利用apache kyuubi 我们可以方便的进行数据分析开发,以及进行数据湖应用开发(可以方便的 阅读全文

posted @ 2021-11-14 12:39 荣锋亮 阅读(518) 评论(0) 推荐(0) 编辑

fastdfs 集群异常修复实践
摘要:实际上可能会有更好的技术方案,只是从目前系统玩法来法,以下是一个不错的对于业务系统影响最小的方法 原有参考架构设计 简单说明:很简单,nginx +fastdfs module+ fastdfs 集群的玩法,文件基于sdk 进行上传,主要的场景是图片服务(当然其他模式也是支持的) 故障问题 因为一台 阅读全文

posted @ 2021-11-13 15:06 荣锋亮 阅读(313) 评论(0) 推荐(0) 编辑

使用arthas 分析一个系统登录慢的问题
摘要:场景很简单,就是一个业务系统集成了sso api 参考模式如下 问题描述 正常接口登录比较快,基本1s 处理完成,但是如果用户不在外部sso api 系统存在的时候登录居然需要10多秒,因为外部sso 接口使用 的比较多理论上是有稳定性保障的(主要是测试了存在的时候都很快。。。。) 解决 开始以为是 阅读全文

posted @ 2021-11-12 22:55 荣锋亮 阅读(369) 评论(0) 推荐(1) 编辑

Faster Change Data Capture for your Data Lake
摘要:转自:https://servian.dev/faster-change-data-capture-for-your-data-lake-6ad9d743074c 很不错的一篇文章 The intent of this article is to discuss and present a new, 阅读全文

posted @ 2021-11-11 00:15 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

使用jHiccup 分析java 应用性能
摘要:jHiccup 是一个很不错的java 性能分析工具,是一个值得尝试的工具,可以集成到系统中,后续会写一些使用方法参考机制 参考资料 https://docs.azul.com/prime/jHiccuphttps://github.com/giltene/jHiccuphttps://www.az 阅读全文

posted @ 2021-11-11 00:00 荣锋亮 阅读(143) 评论(0) 推荐(0) 编辑

cube.js graphql 支持
摘要:当然次特性是一个社区pr参考连接https://github.com/cube-js/cube.js/pull/3555是一个值得学习的,里边的沟通也可以看到具体的设计模式 参考资料 https://github.com/cube-js/cube.js/pull/3555 阅读全文

posted @ 2021-11-09 22:54 荣锋亮 阅读(89) 评论(0) 推荐(0) 编辑

使用jproflier 分析dremio
摘要:主要是测试,jprofiler 是收费的软件(可以自己购买),测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof 阅读全文

posted @ 2021-11-06 20:07 荣锋亮 阅读(139) 评论(0) 推荐(0) 编辑

一次因为arthas 引起jvm crash 问题记录
摘要:问题 现在一个应用响应比较慢,比较喜欢arthas ,所以直接的选择就是运行arthas ,而且也帮助找到了系统的问题所在(tomcat 线程block造成服务异常),但是其奇特的问题就是过了一段时间服务突然直接就死了。。。。如果服务是被人操作的肯定会有信息的,但是tomcat 日志是没有看到的,原 阅读全文

posted @ 2021-11-06 00:01 荣锋亮 阅读(312) 评论(0) 推荐(0) 编辑

MangoDB 暴露pg 数据库为mongodb 的proxy
摘要:MangoDB 的目的是替换mongodb ,技术上MangoDB 是一个mongo 协议的proxy,后端使用了pg 说明 最近才开源,目前功能还比较小,但是是一个不错的模式,技术实现上基于golang,可以学习下 参考资料 https://getmango.jimdofree.com/try-m 阅读全文

posted @ 2021-11-03 00:01 荣锋亮 阅读(190) 评论(0) 推荐(0) 编辑

导航