rongfengliang-荣锋亮

摘要：机制实际上与webscoket 类似，从原理上是使用了有个定时拉取的处理 配置方法 cube.js module.exports = { orchestratorOptions: { queryCacheOptions: { refreshKeyRenewalThreshold: 4, } }, p 阅读全文

摘要：cube.js 是支持数据实时更新的（基于websocket+refreshkey），以下是参考使用 环境准备 docker-compose 文件 version: "3" services: postgres: image: postgres:12.1 environment: - POSTGRE 阅读全文

摘要：phpspy 是基于c 编写的利用了ptrace 的php 性能分析工具，支持apache ,fpm sapi 注意php 主要支持7.0+ 参考使用 为了方便，构建了docker 镜像，大家可以直接使用 支持的命令 docker run -it dalongrong/phpspy ./phpspy 阅读全文

摘要：主要集成了groovy的grape maven 依赖 注意groovy的grape需要依赖apache ivy <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln 阅读全文

摘要：代码生成在日常开发中还是比较重要的，可以加速我们的业务开发 可选解决方法 基于模版引擎 基于模版引擎的是比较简单的，而且模版引擎是比较多的 优点: 对于代码生成只需要定义好模版，传递参数就可以了 缺点: 很多时候需要完备的进行代码检查，不然产生的代码可能是有问题的，而且很多是否可以需要比较多的判断处 阅读全文

摘要：主要是一个总结，后续会持续完善 参考图 说明 以上主要是集成了flamegraph 周边的一些工具，以及日常中不错的工具选择，大家可以参考使用，对于日常的黑盒系统基于此类工具还是很不错的 参考资料 https://www.brendangregg.com/flamegraphs.html 阅读全文

摘要：参考使用 下载软件包，对于centos 7 有问题的可以尝试使用我构建的https://github.com/rongfengliang/rbspy-binary 命令 ./rbspy record -p 24759 效果 问题 version `GLIBC_2.18' not found 使用官方 阅读全文

摘要：就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题 说明 对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是别直 阅读全文

摘要：请求格式 http://localhost/business/detail?itemId=123 重定向到: http://localhost/business123 参考配置 user root; events { worker_connections 1024; } http { include 阅读全文

摘要：一个实际的问题，场景是基于haproxy 代理pg，数据库版本为10会有以上的问题，解决方法参考如下资料 参考资料 https://www.percona.com/blog/2019/12/03/postgresql-12-improvement-benign-log-entries-incompl 阅读全文

摘要：dremio 是支持create table的，官方文档比较简单，只说明了可以直接创建，但是dremio 的create table 其实是更加强大的 如果使用了dremio的ui 的话，数据下载导出就是利用了这个能力，但是默认是在master中执行的，而且数据是放在一个固定的space中 __da 阅读全文

摘要：目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical 阅读全文

摘要：问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修 阅读全文

摘要：操作流程 当然命令是很多的，windows 的使用zip 以及winrar 都是可以的，linux 以及mac 命令就比较多了 解压 解压方法 unzip <name>.jar 重新压缩 压缩, zip -q -r <name>.jar . 说明 当然直接基于jar 命令也是可以进行操作的 参考命令 阅读全文

摘要：参考图 说明 主要是基于minfs 挂载s3 bucket，构建的代码可以直接到linux 直接（挂载s3的数据目录），同时为了方便维护，我们也可以直接到s3（数据直接到s3），以上是集成了多种模式的，从机制上都是到s3，但是为了简化大家的使用，将s3挂载为文件系统会保持现有系统业务使用的一致性，当 阅读全文

摘要：以前也介绍过minfs 的使用，但是当时miniofs 有一段时间是被直接项目归档了（当时应该是不推荐使用），但是最近的查看官方有开启了，理论上就是可以使用的，以前使用s3-fuse 比较多，实际山基于golang 编写的minfs 是更好的选择（运行简单） 功能说明 minfs 使用了blotdb 阅读全文

摘要：整理了一些s3 压力测试的工具,参考资料包含了完整的连接，但是比较推荐的是使用minio的warp（分布式，强大） warp 分布式测试架构 参考使用 混合模式（单机） warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr 阅读全文

摘要：一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中） 比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译 源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是 阅读全文

摘要：混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的） 说明 dremio 18 也 阅读全文

摘要：jsonlines 在数据分析处理以及批量json 处理中是比较常用的，以下是基于jackson 的处理 场景说明 基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

摘要：dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供） 新的查询可视化器（需要等待发版体验） 混合类型移除（需要自己手工处理，目前17就有这 阅读全文

摘要：官方已经明确了调度中心的ha部署说明 db 配置一样 集群机器时间一致 基于nginx 进行la以及使用域名，对于执行器以及api的访问都走域名（lb ip） 参考环境部署 基于docker-compose 运行 docker-compose 文件 version: "3" services: in 阅读全文

摘要：目前官方没有直接提供类似执行器那种能力，如果需要动态创建job 有几种解决方法 解决方法 修改官方的admin 代码暴露类似admin 的能力 基于官方web的api 进行操作 直接基于数据库操作（可行，而且更加简单） 以下说明基于官方的web api 的操作说明 参考代码 就有okhttp3,操作 阅读全文

摘要：内容来自github，还是比较有意义的 参考 #!/bin/bash ​ cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 ​ # use as little s 阅读全文

摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

摘要：参考解决方案 原理说明 用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析 环境 阅读全文