荣锋亮 - 博客园

cloud-git 扩展s3 存储支持说明

摘要：从原理上来说，实现还是比较简单的，主要是关于接口实现的问题，cloud-git 官方已经提供了相关的说明核心接口说明开发的扩展继承自GitRepository 接口实现说明 class GitRepository { // Must be overriden async getRefs(req) 阅读全文

posted @ 2021-10-09 22:00 荣锋亮阅读(95) 评论(0) 推荐(0) 编辑

扩展cloud-git 支持基于s3的git repo 管理的参考实现

摘要：这篇文章主要提供思路，具体的实现会在后边参考实现说明因为我们需要包含复杂的查询以及数据结构处理，而且基于s3所以直接选择了pixl-server-storage一个灵活强大的key-value 框架，同时直接支持基于s3的存储，这样我们开发起来就比较简单了，后边会使用类似的进行一个实际的开发阅读全文

posted @ 2021-10-06 19:35 荣锋亮阅读(57) 评论(0) 推荐(0) 编辑

express Graceful Shutdown 的几种方法

摘要：内容主要来自官方文档几种方法进程管理模式 const server = app.listen(port) process.on('SIGTERM', () => { debug('SIGTERM signal received: closing HTTP server') server.clos 阅读全文

posted @ 2021-10-06 19:24 荣锋亮阅读(106) 评论(0) 推荐(0) 编辑

基于开源工具提供real time api 的一个参考集成方案

摘要：参考架构方案组件说明核心还是利用了以上的开源组件进行集成，提供不同模式的real time 能力，基于分层的模式，有些是依赖中间件的，有些是依赖db的我们利用以上组件可以快速设计一个支持real time的api，当然没有银弹，集成需要代价，开源框架解决不了所有问题，合理集成，大胆扩展才可以很好阅读全文

posted @ 2021-10-06 18:39 荣锋亮阅读(118) 评论(0) 推荐(0) 编辑

danfojs 类似pandas 的js 数据分析框架

摘要： danfojs 是基于js 开发的类似pandas 的分析框架包含的特性快（基于tf）对于缺失数据处理简单强大的分析操作支持支持csv excel 文件的读取处理说明目前Packt 上一本关于danfojs 的书（有oreilly订阅的也可以直接下载学习。。。。）参考资料 https 阅读全文

posted @ 2021-10-06 11:58 荣锋亮阅读(504) 评论(0) 推荐(0) 编辑

cube cloud 集成git 部署模式的一个说明

摘要：以前也说过cube cloud 默认是自己的git server，但是我们可以集成github这里就有一个比较有意思的问题: 集成github 之后git 的push 操作只能在github 中git 的pull 操作可以在github 以及在我们切换github 之前cube cloud 提供的g 阅读全文

posted @ 2021-10-06 11:36 荣锋亮阅读(68) 评论(0) 推荐(0) 编辑

cloud-git 开发一个git server 试用

摘要： cloud-git 是基于nodejs 开发的一个express git 中间件，可以用来开发git server，以下是一个简单的使用 git server package.json { "name": "mygit", "version": "1.0.0", "main": "index.js" 阅读全文

posted @ 2021-10-06 11:15 荣锋亮阅读(62) 评论(0) 推荐(0) 编辑

garfish来自字节跳动的微前端框架

摘要： garfish 是来自字节跳动的微前端框架包含的特性跨框架支持（vue，react，angular。。。。） api 简单路由驱动（支持路由配置激活信息自动挂载以及销毁）说明目前官方文档以及更新还是比较频繁的，大致的了解看到还是很不错的，后边仔细研究下参考资料 https://garfi 阅读全文

posted @ 2021-10-06 11:06 荣锋亮阅读(3370) 评论(0) 推荐(0) 编辑

开发自己的git server

摘要：整理了一些关于开发自己git server的资料可以参考（主要是在学习cube 等类似平台工具可以直接支持git 协议研究下）一些参考资料 https://github.com/sosedoff/gitkithttps://github.com/repoSpanner/repoSpannerhtt 阅读全文

posted @ 2021-10-06 10:32 荣锋亮阅读(137) 评论(0) 推荐(0) 编辑

cube cloud ga了

摘要： cube cloud 的速度还是很快的，就在昨天官方博客声明以及ga了,同时官方也简单介绍了下cube cloud 的工作机制以下是一个总结整理（关于官方部分的就不介绍了，主要是我通过尝试使用一些整理）多租户 cube cloud 的确是按照多租户的设计（基于iaas 层做的资源隔离，对于管理阅读全文

posted @ 2021-10-06 09:56 荣锋亮阅读(142) 评论(0) 推荐(0) 编辑

cube.js 基于http 通道的数据实时更新bug 解决

摘要：这个问题的原因核心还是官方在处理网络异常的是否没有进行异常处理，造成基于循环的数据获取处理了问题参考代码因为cube.js 实现了不同的transport http 的包含了http 的，ws 的包含了ws 的 http 的处理 class HttpTransport { constructor 阅读全文

posted @ 2021-10-02 22:01 荣锋亮阅读(70) 评论(0) 推荐(0) 编辑

cube.js 基于http 通道的数据实时更新

摘要：机制实际上与webscoket 类似，从原理上是使用了有个定时拉取的处理配置方法 cube.js module.exports = { orchestratorOptions: { queryCacheOptions: { refreshKeyRenewalThreshold: 4, } }, p 阅读全文

posted @ 2021-09-27 08:52 荣锋亮阅读(159) 评论(0) 推荐(0) 编辑

cube.js websocket 实时数据更新说明

摘要： cube.js 是支持数据实时更新的（基于websocket+refreshkey），以下是参考使用环境准备 docker-compose 文件 version: "3" services: postgres: image: postgres:12.1 environment: - POSTGRE 阅读全文

posted @ 2021-09-26 23:32 荣锋亮阅读(323) 评论(0) 推荐(0) 编辑

phpspy 进行php 项目性能分析

摘要： phpspy 是基于c 编写的利用了ptrace 的php 性能分析工具，支持apache ,fpm sapi 注意php 主要支持7.0+ 参考使用为了方便，构建了docker 镜像，大家可以直接使用支持的命令 docker run -it dalongrong/phpspy ./phpspy 阅读全文

posted @ 2021-09-21 14:08 荣锋亮阅读(267) 评论(0) 推荐(0) 编辑

使用groovy 下载maven依赖包

摘要：主要集成了groovy的grape maven 依赖注意groovy的grape需要依赖apache ivy <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln 阅读全文

posted @ 2021-09-21 13:42 荣锋亮阅读(1286) 评论(0) 推荐(0) 编辑

java 几个不错的代码生成工具

摘要：代码生成在日常开发中还是比较重要的，可以加速我们的业务开发可选解决方法基于模版引擎基于模版引擎的是比较简单的，而且模版引擎是比较多的优点: 对于代码生成只需要定义好模版，传递参数就可以了缺点: 很多时候需要完备的进行代码检查，不然产生的代码可能是有问题的，而且很多是否可以需要比较多的判断处阅读全文

posted @ 2021-09-21 13:30 荣锋亮阅读(2123) 评论(0) 推荐(0) 编辑

语言性能分析工具总结

摘要：主要是一个总结，后续会持续完善参考图说明以上主要是集成了flamegraph 周边的一些工具，以及日常中不错的工具选择，大家可以参考使用，对于日常的黑盒系统基于此类工具还是很不错的参考资料 https://www.brendangregg.com/flamegraphs.html 阅读全文

posted @ 2021-09-14 22:07 荣锋亮阅读(57) 评论(0) 推荐(0) 编辑

使用rbspy 分析ruby应该性能

摘要：参考使用下载软件包，对于centos 7 有问题的可以尝试使用我构建的https://github.com/rongfengliang/rbspy-binary 命令 ./rbspy record -p 24759 效果问题 version `GLIBC_2.18' not found 使用官方阅读全文

posted @ 2021-09-14 13:16 荣锋亮阅读(97) 评论(0) 推荐(0) 编辑

dremio v18.0 软件包可以使用了

摘要：就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题说明对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是别直阅读全文

posted @ 2021-09-11 16:23 荣锋亮阅读(96) 评论(0) 推荐(0) 编辑

nginx rewrite查询字符串重写问题

摘要：请求格式 http://localhost/business/detail?itemId=123 重定向到: http://localhost/business123 参考配置 user root; events { worker_connections 1024; } http { include 阅读全文

posted @ 2021-09-09 21:32 荣锋亮阅读(167) 评论(0) 推荐(0) 编辑

PostgreSQL 12 Improvement: Benign Log Entries “Incomplete Startup Packet”

摘要：一个实际的问题，场景是基于haproxy 代理pg，数据库版本为10会有以上的问题，解决方法参考如下资料参考资料 https://www.percona.com/blog/2019/12/03/postgresql-12-improvement-benign-log-entries-incompl 阅读全文

posted @ 2021-09-09 21:31 荣锋亮阅读(205) 评论(0) 推荐(0) 编辑

dremio create table 几个特殊的能力

摘要： dremio 是支持create table的，官方文档比较简单，只说明了可以直接创建，但是dremio 的create table 其实是更加强大的如果使用了dremio的ui 的话，数据下载导出就是利用了这个能力，但是默认是在master中执行的，而且数据是放在一个固定的space中 __da 阅读全文

posted @ 2021-09-05 22:01 荣锋亮阅读(157) 评论(0) 推荐(0) 编辑

dremio 内置support key 说明

摘要：目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。）参考代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical 阅读全文

posted @ 2021-09-05 01:11 荣锋亮阅读(145) 评论(0) 推荐(0) 编辑

dremio 反射支持小于小时的处理

摘要：问题默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的配置。。。解决方法添加支持key 同时修改ui，ui 的修阅读全文

posted @ 2021-09-05 00:45 荣锋亮阅读(74) 评论(0) 推荐(0) 编辑

修改java jar内容的方法

摘要：操作流程当然命令是很多的，windows 的使用zip 以及winrar 都是可以的，linux 以及mac 命令就比较多了解压解压方法 unzip <name>.jar 重新压缩压缩, zip -q -r <name>.jar . 说明当然直接基于jar 命令也是可以进行操作的参考命令阅读全文

posted @ 2021-09-04 14:28 荣锋亮阅读(606) 评论(0) 推荐(0) 编辑

基于minfs 的静态网站部署模式

摘要：参考图说明主要是基于minfs 挂载s3 bucket，构建的代码可以直接到linux 直接（挂载s3的数据目录），同时为了方便维护，我们也可以直接到s3（数据直接到s3），以上是集成了多种模式的，从机制上都是到s3，但是为了简化大家的使用，将s3挂载为文件系统会保持现有系统业务使用的一致性，当阅读全文

posted @ 2021-09-04 13:36 荣锋亮阅读(290) 评论(0) 推荐(0) 编辑

minfs 简单介绍

摘要：以前也介绍过minfs 的使用，但是当时miniofs 有一段时间是被直接项目归档了（当时应该是不推荐使用），但是最近的查看官方有开启了，理论上就是可以使用的，以前使用s3-fuse 比较多，实际山基于golang 编写的minfs 是更好的选择（运行简单）功能说明 minfs 使用了blotdb 阅读全文

posted @ 2021-09-04 12:12 荣锋亮阅读(659) 评论(0) 推荐(0) 编辑

几个不错的s3 压力测试工具

摘要：整理了一些s3 压力测试的工具,参考资料包含了完整的连接，但是比较推荐的是使用minio的warp（分布式，强大） warp 分布式测试架构参考使用混合模式（单机） warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr 阅读全文

posted @ 2021-09-04 11:59 荣锋亮阅读(2278) 评论(0) 推荐(1) 编辑

通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

摘要：一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中）比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是阅读全文

posted @ 2021-09-03 23:57 荣锋亮阅读(88) 评论(0) 推荐(1) 编辑

dremio 17 混合类型的问题

摘要：混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明参考解决方法禁用基于support keystore.disable.mixed_types 参考解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的）说明 dremio 18 也阅读全文

posted @ 2021-09-03 22:51 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

jackson jsonlines 处理-读取以及生成

摘要： jsonlines 在数据分析处理以及批量json 处理中是比较常用的，以下是基于jackson 的处理场景说明基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

posted @ 2021-09-03 13:08 荣锋亮阅读(568) 评论(0) 推荐(0) 编辑

dremio 18 预览版发布了

摘要： dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包参考的新特性近实时的反射元数据刷新近实时的元数据刷新新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供）新的查询可视化器（需要等待发版体验）混合类型移除（需要自己手工处理，目前17就有这阅读全文

posted @ 2021-09-03 09:27 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

xxljob ha 参考配置以及使用说明

摘要：官方已经明确了调度中心的ha部署说明 db 配置一样集群机器时间一致基于nginx 进行la以及使用域名，对于执行器以及api的访问都走域名（lb ip）参考环境部署基于docker-compose 运行 docker-compose 文件 version: "3" services: in 阅读全文

posted @ 2021-09-02 21:34 荣锋亮阅读(599) 评论(0) 推荐(0) 编辑

xxljob 基于api 添加job

摘要：目前官方没有直接提供类似执行器那种能力，如果需要动态创建job 有几种解决方法解决方法修改官方的admin 代码暴露类似admin 的能力基于官方web的api 进行操作直接基于数据库操作（可行，而且更加简单）以下说明基于官方的web api 的操作说明参考代码就有okhttp3,操作阅读全文

posted @ 2021-09-02 21:27 荣锋亮阅读(3395) 评论(0) 推荐(0) 编辑

minio来自官方的内核优化参数

摘要：内容来自github，还是比较有意义的参考 #!/bin/bash cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 # use as little s 阅读全文

posted @ 2021-09-01 23:51 荣锋亮阅读(1901) 评论(0) 推荐(0) 编辑

minio 集成webhook 事件通知

摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮阅读(2041) 评论(0) 推荐(0) 编辑

excel 到dremio 查询处理

摘要：参考解决方案原理说明用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析环境阅读全文

posted @ 2021-09-01 21:41 荣锋亮阅读(126) 评论(0) 推荐(0) 编辑

OpenMetadata 开放标准的元数据服务

摘要： OpenMetadata 是一个开放标准的元数据服务，可以在一个地方实现数据的发现，协作包含的组件元数据schema 元数据存储元数据api 数据进入框架（插件化的框架支持多种数据库）元数据界面一张官方的参考图说明 OpenMetadata 很多地方是依赖了json schema，同时目阅读全文

posted @ 2021-08-29 23:16 荣锋亮阅读(1372) 评论(0) 推荐(0) 编辑

xxljob 学习

摘要：参考架构环境准备 docker-compose version: "3" services: job: image: xuxueli/xxl-job-admin:2.3.0 ports: - "8080:8080" volumes: - "./tmp:/data/applogs" - "./app 阅读全文

posted @ 2021-08-29 21:27 荣锋亮阅读(203) 评论(0) 推荐(1) 编辑

easy-rules facts 添加扩展数据

摘要：一个很常见的场景，我们希望在easy-rules 的facts 中添加一些扩展数据（比如json）但是因为默认facts 是会进行数据转map的，很多时候可能不会产生我们希望的结果解决方法包装一个新的对象，在执行rule 的时候在facts 传递一个初始对象，然后就可以使用引用的模式使用数据了阅读全文

posted @ 2021-08-28 23:52 荣锋亮阅读(457) 评论(0) 推荐(0) 编辑

导航

公告