rongfengliang-荣锋亮

摘要：以下是关于spring batch 简单学习环境，基于starter 生成代码 maven 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml 阅读全文

摘要：基于docker-compose 运行，主要是自定义了network 的ipam 通过docker-compose 方便的管理网络 参考配置 version: "3" services: mysql: image: mysql:5.7.16 restart: always volumes: - ./ 阅读全文

摘要：环境准备 es 环境 version: "3" services: es01: image: elasticsearch:7.3.2 container_name: es01 // 开启sql 以及认证 environment: - "http.host=0.0.0.0" - "transport. 阅读全文

摘要：参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 阅读全文

摘要：通常的玩法 平时在进行dremio 升级的时候的步骤如下： 停止node节点，升级软件包（基于软连接，调整配置） 停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储） 启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下 阅读全文

摘要：问题 历史问题，磁盘分配的比较小，但是jenkins 配置的任务越来越多，不然会影响项目的创建了 解决方法 基于rsync 以及软连接的模式，rsync 的好处是可以保证文件属性信息的完整，软连接的好处是保持使用一直 参考命令 rsync -avrc --delete --progress /var 阅读全文

摘要：很多时候windows环境中我们在安装pip包的时候是需要进行构建的，构建的时候就需要Microsoft Visual C++ Build Tools 工具了 默认安装还是比较大，而且很多时候我们是需要离线环境的，以下是相关命令 命令 下载安装包（在线的） 可以在微软官方下载 下载离线软件包以及配置 阅读全文

摘要：现象 应用基于spring cloud + k8s 部署，接口的暴露基于了nodeport+openresty，同时为了保证业务的稳定接口添加了upstream 的重试机制出现的问题是，当网关重新部署的时候服务可以使用一段时间，但是当业务系统量比较大的时候，过一段时间会出现服务不可用的问题 排错猜测 阅读全文

摘要：内容来自官方博客（cubhe,js a 轮了。。。） 参考新的架构 从此图可以看出，主要是关于bi 工具以及自动处理 说明 从官方博客的介绍，cube 的发展还是很不错的，而且官方也会投入更多的人在cube 的开发中，比较期待bi connector 的支持（也比较好支持，因为cube包含的sche 阅读全文

摘要：最近在进行nodejs 应用集成prometheus 的测试，一般我们会选择比较小的容器镜像，但是因为项目使用了express 框架的express-prometheus-middleware中间件，但是因为容器的环境我们选择官方比较小的镜像，没有安装python 环境，docker 构建的时候出现 阅读全文

摘要：grafana 最近发布了8.0 功能还是很不错的，以下是关于8.0 报警运行的配置说明，具体使用可以参考官方文档 docker-compose 文件 version: "2.2" services: grafana: image: grafana/grafana environment: - "G 阅读全文

摘要：这个问题是slack 中有人问到的，同时也是社区提的比较多的，基于prometheus 的监控方案是一个很不错的选择 因为cube.js 是基于express 开发的，同时官方也提供了插件扩展点的方法，我们可以直接使用现成的prometheus express 扩展 参考配置 prometheus 阅读全文

摘要：新版本playground 支持了一个很不错的特性，就是可以进行rollup 的设计（进行预聚合的判断处理） 参考界面 说明 基于rollup 设计器我们可以进行一些灵活的控制，比如结合编辑能力方便的进行schema 的调整，进行数据加速处理 参考资料 https://github.com/cube 阅读全文

摘要：核心是利用了clinicjs 进行分析 流程 安装clinicjs npm install -g clinic 修改启动模式修改 注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

摘要：转自 ： https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文

摘要：python 的pandas 是一个很强大的dataframe 处理框架，同时java 也有spark 的dataframe 支持框架，但是spark还是有点重基于java 包的工具会更加方便，以下是几个相关的整理，使用的时候可以参考 说明 以下参考连接包含了具体的工具，同时官方文档都还算完备使用起 阅读全文

摘要：archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架 支持的特性 动态属性 支持动态的获取配置，同时支持事件变动监听 支持polling 模式的动态配置数据源 内置几个可用的配置源 提供了配置以及部署上下文管理 基于com.netf 阅读全文

摘要：使用场景 基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作 参考图 查询 因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作 说明 当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一 阅读全文

摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明 因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重 阅读全文

摘要：运行方式与v2 类似，主要更新了docker 镜像 docker 镜像构建 目前官方暂时没有提供官方镜像，但是可以自己构建，我们只需要修改image name 同时docker-compose build 就可以了 构建目录 docker 参考运行 version: '2.3' services: 阅读全文

摘要：parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用 参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

摘要：内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置 说明 官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的 参考资料 https://docs.drem 阅读全文

摘要：minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

摘要：hermes 提供了灵活的基于html 的email发送模版支持，使用简单，而且也包含了灵活的主题支持 参考使用 项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文

摘要：gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务，但是比gotrue 强大了好多，支持grpc，rest，grpc web 以及其他db 的支持（gorm） 说明 当前gothic 还在开发中，但是是一个不错的快速用户注册以及认证服务，很值得使用 参考资料 https://gi 阅读全文

摘要：默认cube store 使用模式 问题： 如果数据大于100k问题就很明显了 批处理模式 cube.js 会发送压缩的csv 文件到cube store，（同时也包含了stream模式），目前支持包含的有redshift，bigquery，mysql，postgres 导出数据到云存储 基于buc 阅读全文