05 2022 档案

openresty sse 动态扩展处理
摘要：sse (server send events) 是一个单向的服务器消息推送方案，比较适合的业务场景是实时数据显示（而且sse 可以很好的支持数据的多播） 参考图 集成说明 对于业务请求我们基于openresty 灵活的扩展能力，对于需要sse 服务的，我们可以按照租户或者业务系统或者单一订阅id进 阅读全文

posted @ 2022-05-31 13:38 荣锋亮 阅读(201) 评论(0) 推荐(0) 编辑

nginx 提供的MARA参考架构
摘要：MARA （Modern Apps Reference Architecture） 是由nginx 提供的一个参考架构，值得参考使用 参考图 说明 nginx 提供的这套参考架构还是值得学习参考的 参考资料 https://github.com/nginxinc/kic-reference-arch 阅读全文

posted @ 2022-05-31 13:12 荣锋亮 阅读(132) 评论(0) 推荐(0) 编辑

openresty proxy sse 服务
摘要：实际上如果单纯的进行nginx sse 处理很简单，但是我们实际的场景存在数据访问控制以及数据处理 对于此问题，我们可以使用sse client 包装，然后同时将我们的请求endpoint 暴露为一个sse 服务 参考处理图 代码说明 sse 服务 基于nodejs 开发的一个测试，基于expres 阅读全文

posted @ 2022-05-31 00:47 荣锋亮 阅读(281) 评论(0) 推荐(0) 编辑

dremio 的job 分析参考示例
摘要：dremio 官方专门提供了一个章节，讲解如何进行分析，一些是一个总结，以及学习 预备 下载profiles，以及上传到dremio 中（个人默认space中）因为profiles 默认是json 格式的，我们直接使用dremio 查询分析数据 需要关注的内容: sql 查询：sql 查询是否符合预 阅读全文

posted @ 2022-05-30 16:11 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

dremio 的job 分析
摘要：dremio 实际上对于sql 查询处理都是一个job，基于了自己的一套任务调度机制，很多时候我们也是需要进行job 分析的（执行中，以及执行完成的） job 概述 job 概述包含了job 查询类型，运行时间，开始时间，结束时间，用户以及jobid，同时还包含了数据量以及流量情况 job 详情 j 阅读全文

posted @ 2022-05-30 12:49 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑

dremio 21.2 发布
摘要：这次版本的更新从官方文档看应该支持企业版的，但是发现社区版也是更新了，从介绍上bugfix 比较多,同时对于安全更新也不少 更新 dremio-admin clean 支持对于老旧dataset 版本的清理（不在关联job 的），注意clean 需要挺服务操作 dremio-admin clean 阅读全文

posted @ 2022-05-30 11:26 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

msw 下一代api mock 服务
摘要：msw 是一个很不错的服务mock 工具 包含的特新 基于网络级别的拦截 标准service worker api 支持rest api 以及graphq api 客户端执行 原生ts 支持 类似express 的语法 说明 官方提供了一个30s 的工作原理介绍视频很值得学习下 参考资料 https 阅读全文

posted @ 2022-05-29 23:48 荣锋亮 阅读(203) 评论(0) 推荐(0) 编辑

使用molecule 开发测试ansible roles
摘要：molecule 是ansible 社区提供的一个方便用来开发以及测试ansible roles 的工具包，基于此我们可以开发强健的ansible rolesmolecule 底层使用了galaxy，对于需要开发ansible roles 的此模块是很值得使用的，dev-sec 的ansible r 阅读全文

posted @ 2022-05-29 23:35 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

使用 testcontainer nginx +jest 集成测试njs 模块
摘要：jest 是一个很不错的js 测试框架，我们可以此方便的进行js 测试，基于testcontainer 我们可以使用容器 方便的测试，以下是一个参考使用 项目准备 项目结构 ├── README.md ├── conf │ └── nginx.conf ├── dist │ └── main.js 阅读全文

posted @ 2022-05-29 22:36 荣锋亮 阅读(174) 评论(0) 推荐(0) 编辑

nginx openresty 几个测试工具
摘要：参考图 使用说明 对于经常基于perl 开发的可以直接基于nginx 或者openresty 的nginx 测试工具，基于基于nodejs 的我们可以直接使用jirutka/nginx-testing （基于mocha）是一个不错的工具，因为现在jest 是一个很不错的js 测试套件，我们可以利用容 阅读全文

posted @ 2022-05-29 17:11 荣锋亮 阅读(160) 评论(0) 推荐(0) 编辑

rrun+juicefs 进行nodejs 模块的运行
摘要：参考图 玩法说明 我们使用ncc 将开发的node 应该直接all-in-one，同时暴露一个默认的npm （cmd ）实现，同时直接利用juicefs 的s3 endpoint 上传到s3 中，juicefs 会做为一个 sidecar 挂载到我们的rrun 运行时节点中（可以基于虚拟机，以及容器 阅读全文

posted @ 2022-05-28 23:06 荣锋亮 阅读(88) 评论(0) 推荐(0) 编辑

nginx njs npm hashids 模块使用
摘要：主要是将今天说到的工具做一个使用说明 场景 直接复用npm 的hashids 生成一个id，同时基于rollup 构建，对于缺少js 特性支持的基于core-js 进行polyfill 参考代码 fix hashids 问题 因为原始hahsids 是基于了set ，但是对于set支持有点问题，所以 阅读全文

posted @ 2022-05-28 21:04 荣锋亮 阅读(362) 评论(0) 推荐(0) 编辑

nginx njs 方便的cli 测试工具
摘要：很多时候我们开发的njs 模块需要测试，官方实际上提供了一个njs cli 命令，可以方便的用来测试js 代码## 构建 当我们构建了njs 之后会在build 目录包含一个njs 的cli 参考使用 app.js let app = { name:"dalong", age:333 } let i 阅读全文

posted @ 2022-05-28 17:15 荣锋亮 阅读(113) 评论(0) 推荐(0) 编辑

基于typescript 开发njs 模块的一个玩法
摘要：如果体验了njs 模块的能力会发现njs 是一个很不错的js 模块，但是问题也不少，js 类型以及函数支持，同时npm模块支持也是 一个很大的问题，个人比较推荐的集成模式是基于rollup 构建 参考玩法 集成说明 因为缺少js 特性支持，我们可以基于core-js 进行扩展，对于npm 的集成我们 阅读全文

posted @ 2022-05-28 17:03 荣锋亮 阅读(360) 评论(0) 推荐(0) 编辑

typescript njs 开发参考资料
摘要：以前大概介绍过，以下是一些参考资料其中njs-typescript-starter 是一个很不错的项目值得参考学习，同时作者提供了babel-reset-njs 解决了发部分njs 对于es 支持的问题 说明 当前njs 对于js的支持还是有不少欠缺的，所以我们还是需要一些工具解决的，比如requi 阅读全文

posted @ 2022-05-27 22:56 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑

dremio 的 joust 的作用
摘要：以前我大概有说过一些dremio的社区包，今天再看一个文件操作的时候看到了一个对于joust 的具体操作 依赖包 dremio-ce-sabot-joust-cpp-20.1.0-202202061055110045-36733c65.jar dremio-ce-sabot-joust-java-2 阅读全文

posted @ 2022-05-26 18:35 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑

dremio 21.1 分布式存储单机测试的一种方法
摘要：dremio 21.1 对于分布式存储的变动对于希望体验本地反射是一个比较费事的，我们需要自己配置下，当前支持 的分布式存储实际上是不少的，包含了传统的hdfs，nas，s3 ,mapr,adls, 但是很多是时候大家肯定没有实际条件 实际上有一种最简单方法就是直接使用本地存储，只是使用了类似nas 阅读全文

posted @ 2022-05-26 18:34 荣锋亮 阅读(164) 评论(0) 推荐(0) 编辑

dev-sec devops+security 工具集
摘要：dev-sec 提供了分层的安全检查基线，同时基于不同的部署工具提供了方便的模块（ansible，chef，puppet） 分层提供的能力 说明 dev-sec 提供的主机基线工具是一个很不错的东西，ansible是一个不错的东西，其中ansible-collection-hardening是很值得 阅读全文

posted @ 2022-05-25 17:41 荣锋亮 阅读(127) 评论(0) 推荐(0) 编辑

nginx 1.22.0 发布了
摘要：nginx 1.22.0 是一个稳定版本，核心是对于12.x 主线的修复，同时对于pcre2 库支持的ga，这个对于以前的nginx 模块影响不小 说明 同时在当天njs 0.7.4 也发布了，对于fetch 添加了不少新特性，比如超时，校验，buffer 参考资料 https://nginx.or 阅读全文

posted @ 2022-05-25 15:05 荣锋亮 阅读(571) 评论(0) 推荐(0) 编辑

gooddata-cn 试用
摘要：gooddata 是一家搞无头bi 的企业，同时也提供了社区版，以下是一些试用 gooddata 包含的特性 语意层 rest api 开发简单 可嵌入 数据可视化 交互dashboard 自定义可视化 自服务分析 启动 启动有点慢，默认账户密码demo@example.com，demo123 do 阅读全文

posted @ 2022-05-24 17:17 荣锋亮 阅读(101) 评论(0) 推荐(0) 编辑

dremio 几个缓存数据清理
摘要：dremio 大量使用了数据缓存，元数据，查询job result，加速数据缓存，spill 本地磁盘缓存 job result 清理 按照官方的说法是系统包含了定时任务，默认会30天自动清理,同时变动之后当手工重启的时候会自定清理，同时不清理job 的profile 只是job result 但是 阅读全文

posted @ 2022-05-24 17:14 荣锋亮 阅读(127) 评论(0) 推荐(0) 编辑

cube.js 对于headless-bi 核心组件的定义
摘要：cube.js 定义自己是一个headless-bi ，同时官方发布了一篇很不错的文章，说明了headless-bi 应该包含的组件 参考图 包含的核心组件 数据模型，cube.js 基于类json 的格式定义了自己的数据模型 访问控制，这个实际上cube.js 是提供了扩展点，以及一些hook我们 阅读全文

posted @ 2022-05-24 13:11 荣锋亮 阅读(384) 评论(0) 推荐(0) 编辑

dremio 21.1 分布式存储配置demo
摘要：主要演示下，具体参数以前我有说明过 环境准备 dockerfile FROM dremio/dremio-oss:21.1 USER root COPY dremio-env-profile /opt/dremio/conf/dremio-env COPY --from=hengyunabc/art 阅读全文

posted @ 2022-05-23 23:23 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

dremio 构建几个问题
摘要：直接基于下载的源码包，以下是自己构建可能的一些问题（因为每个人的电脑问题比较多，以下是整理一些比较典型的） npm 版本问题 建议保持一致，目前当前的版本至少7.7.5 （21.1） 依赖版本问题 如果网络不通这个就是一个问题，可以使用本地模式的，（本地模式的注意需要自己构建下） "react-do 阅读全文

posted @ 2022-05-23 22:05 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

使用ansible awx 管理ansible 服务部署
摘要：ansible awx 是ansible tower 的开源版，可以解决不少我们的问题 （统一管理，调度，可视化操作） 基于容器的安装部署 awx 的运行也是基于了ansible 运行的，所以我们需要先安装好ansible 构建 make ui-release // 这个还是比较重要的，不然ui 会 阅读全文

posted @ 2022-05-22 23:15 荣锋亮 阅读(834) 评论(0) 推荐(0) 编辑

spring 使用jsontemplate 处理rest 响应内容格式
摘要：实际上jsontemplate只是提供了一种简化json 格式的方法，实际上我们也是可以直接基于模版引擎的 只是jsontemplate 对于json 处理相对简单，同时提供了不少方便的功能 参考图 简单的集成图，只是对于处理我们基于了jsontemplate 代码集成 很简单，核心就是利用json 阅读全文

posted @ 2022-05-21 10:29 荣锋亮 阅读(219) 评论(0) 推荐(0) 编辑

nginx 安全请求头
摘要：一些关于 nginx 配置以及安全头的链接，值得参考，可以保障我们系统的安全 参考资料 https://geekflare.com/tools/tests/rj6uevqzwhttps://github.com/GetPageSpeed/ngx_security_headershttps://dev 阅读全文

posted @ 2022-05-20 12:28 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑

cratedb 4.8 新特性
摘要：cratedb 4.8 的新特性不少，比较吸引人的就是支持了逻辑复制了 逻辑复制 可以将全部，或者部分数据同步到其他的cratedb 集群中，适合的场景，中心报表，中心存储，这个功能是很不错的 copy from/to 增强 这个提供了不少特性，包含了从s3 拷贝数据，csv 格式解析 参考资料 h 阅读全文

posted @ 2022-05-20 09:18 荣锋亮 阅读(96) 评论(0) 推荐(0) 编辑

一次k8s 数据卷异常问题的解决
摘要：k8s 持久卷的问题实际上问题还是不少的，但是总的趋势的会越来越好的，以下记录一个自己处理的问题## 现象k8s 数据卷异常了，容器在启动的时候，k8s 会包装存储一致性检查以及正确的挂载碰到的问题multiply-claimed block(s), shared with 3 file(s)造成挂 阅读全文

posted @ 2022-05-19 23:29 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

openresty 1.21.4 发布了
摘要：就在昨天（5.17 ） openresty 发布了1.21.4 版本,按照标准openresty 1.21.4 是基于nginx 的1.21.4 版本开发的 说明 目前nginx 1.21.5 开始，使用pcre2了， 所以后续版本openresty 会有比较大的影响，同时对于以前好多基于pcre的 阅读全文

posted @ 2022-05-18 20:27 荣锋亮 阅读(407) 评论(0) 推荐(0) 编辑

nginx ngx_http_realip 的功能以及使用
摘要：网上关于ngx_http_realip 使用介绍的基本都是一个老生长谈的问题了，对于多级代理配置的这个就是一个常用的解决用户真实ip的方法，以下是使用 的一个简单说明 ngx_http_realip 简单说明 ngx_http_realip 是一个获取用户请求真实ip 的一个模块，可以在多代理链路场 阅读全文

posted @ 2022-05-17 12:49 荣锋亮 阅读(388) 评论(0) 推荐(0) 编辑

nodejs 几个方便的打包工具
摘要：vercel 提供了好几个方便的nodejs 打包工具，pkg 以及ncc pkg 使用场景 pkg 可以保证nodejs 可以直接打包到一个二进制文件中，我们可以直接运行就不直接依赖外部nodejs了 ncc 使用场景 ncc 可以将nodejs 应用打包为一个单一文件，好处很明显，就是我们不需要 阅读全文

posted @ 2022-05-16 12:42 荣锋亮 阅读(4360) 评论(0) 推荐(0) 编辑

graylog 新组件 forwarder
摘要：graylog forwarder 属于graylog 的一个新组件了，可以实现发送日志到graylog cloud 或者按需部署的graylog 环境 参考架构 安全 graylog forwarder 是基于tls 保证安全的 安装方法 与graylog 类似，同时提供了软件包以及容器模式 说明 阅读全文

posted @ 2022-05-16 09:15 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

act 的密钥&&环境变量管理
摘要：原生的github actions 密钥管理是很强大的，act 也提供了，只是相对简单一些，支持基于环境变量以及文件模式 约定 act -s MY_SECRET=key 使用 key 替换 act -s MY_SECRET 使用环境变量 act --secret-file my.secrets 通过 阅读全文

posted @ 2022-05-15 22:40 荣锋亮 阅读(86) 评论(0) 推荐(0) 编辑

act 提供的docker 镜像说明
摘要：act 是基于docker 实现了github actions 的本地运行，当然我们直接运行是需要使用docker 镜像的，了解 act内部提供的docker 镜像有助于更好的熟悉内部机制以及更好的使用 一些说明 镜像构建是基于了buildpacj-deps node镜像说明 node 是基于了de 阅读全文

posted @ 2022-05-15 19:13 荣锋亮 阅读(247) 评论(0) 推荐(0) 编辑

act github actions 本地运行试用
摘要：安装 使用mac 系统安装 brew install act 创建项目 项目结构 ├── .github │ └── workflows │ └── app.yaml ├── package.json ├── src │ └── app.ts ├── tsconfig.json └── yarn.l 阅读全文

posted @ 2022-05-15 01:36 荣锋亮 阅读(619) 评论(0) 推荐(0) 编辑

act 本地运行github actions 工具
摘要：github actions 是一个很不错的ci/cd 能力，我们可以使用github 提供的免费能力，自动化我们软件的构建，测试，以及发布但是默认github actions 是需要云端资源的，很多时候我们是需要本地运行的act 就是一个可以让我们本地运行github actions的工具 本地运 阅读全文

posted @ 2022-05-15 01:04 荣锋亮 阅读(430) 评论(0) 推荐(0) 编辑

whichjdk 帮助选择合适的jdk 版本
摘要：whichjdk 实际上属于一个说明，包含了一些指南，方便我们选择合适的jdk，协助规避一些安全风险，同时包含一些特性说明，对于懒人来说是一个值得参考的项目 参考资料 https://github.com/whichjdk/whichjdk.com 阅读全文

posted @ 2022-05-14 23:25 荣锋亮 阅读(48) 评论(0) 推荐(0) 编辑

使用api-extractor 开发typescript 项目
摘要：api-extractor 是微软提供的一个强大的工程化typescript 项目开发工具，可以标准化我们的开发 支持的功能 api 报告，可以生成markdown 文档 统一.d.ts 文件（合并一起，使用更加方便） api 文档，生成项目的api 文档 集成玩法 说明 对于开发typescrip 阅读全文

posted @ 2022-05-14 10:37 荣锋亮 阅读(608) 评论(0) 推荐(0) 编辑

citus vs greenplum 对比参考
摘要：主要引用了一篇别人写的文档，但是此文时间比较早了，因为这几年citus 提升是很大的，当然greenplum 也在提升后边可以自己压测下，同时自己在测试了citus 11.0 对于百万级别的表与千万级别的表join 聚合，可以实现很开的处理（400ms）原生pg 需要4s 左右 （目前表没有主键以及 阅读全文

posted @ 2022-05-10 20:11 荣锋亮 阅读(955) 评论(0) 推荐(0) 编辑

使用citus 列式存储压缩数据
摘要：实际上是一个实际问题，刚好结合问题说明下问题的一种解决方法 问题 注意是基于容器运行的 异常 ERROR: could not resize shared memory segment "/PostgreSQL.1345396376" to 4194304 bytes: No space left 阅读全文

posted @ 2022-05-10 20:00 荣锋亮 阅读(327) 评论(0) 推荐(0) 编辑

citus 以及timescaledb对于时许数据存储的处理
摘要：从专业程度来说timescaledb 处理时许数据更加方便强大,citus 可以基于pg的分区可以很好的支持时许数据处理 citus 操作流程 一般是创建分区表 参考 CREATE TABLE github_events ( event_id bigint, event_type text, eve 阅读全文

posted @ 2022-05-10 18:54 荣锋亮 阅读(509) 评论(0) 推荐(0) 编辑

citus ha 参考部署方案
摘要：参考图 注意此版本比较适合citus 11.0 以及以上的（但是11.0 暂时还没ga） 集成说明 因为citus 的coordinator、worker 都支持基于流式复制的，我们基于patroni 保证节点的高可用（推荐使用同步复制），为了规避业务使用的问题，我们可以基于haproxy + ke 阅读全文

posted @ 2022-05-08 22:23 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

citus 一些不错的资料
摘要：来自官方博客一些很不错的资料，很值得学习参考 说明 好久没太关注citus 了，通过查看这些内容，了解了不少citus开源的新特性，很值得使用 参考资料 https://www.citusdata.com/blog/2022/03/12/how-to-benchmark-performance-of 阅读全文

posted @ 2022-05-08 20:31 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

关于 citus ha 的一些说明
摘要：citus 是一个很不错的pg 集群方案，支持数据分片，多租户特性，11.0 之后支持schema 以及元数据的自动同步，更加方便了 citus ha 需要关注的东西 woker 节点 可以使用流式复制 协调节点 可以视同流式同步复制,当然也可以基于灾备工具的，因为元数据变动比较小，在11.0 之后 阅读全文

posted @ 2022-05-08 20:03 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

citus 11.0 beta 发布
摘要：citus 11.0 beta 包含了一个特别强大的特性，就是schema 以及元数据自动同步，可以让我们维护集群更加简单了 新玩法 11.0 之前的 问题很明显，协调节点会成为系统的瓶颈点 11.0 以及之后的 基于同步机制我们就可以更好的进行系统负载处理了 11.0 的负载均衡 包含了基于npg 阅读全文

posted @ 2022-05-08 19:38 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

localstack terraform 的支持
摘要：terraform 是一个强大的基础设施几代码工具，很强大，localstack 包装了terraform，让我们可以很好的体验terraform 集成aws 强大的能力 环境准备 安装terraform-local pip install terraform-local 使用 初始化 tfloca 阅读全文

posted @ 2022-05-08 11:27 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

localstack 应用架构
摘要：以前简单说明了localstack的运行架构，以下简单说明下应用架构，可以方便开发 参考图 说明：从以上图可以看出proxu 是一个比较重要的角色，包含了边缘处理以及内部处理,localstack 依赖了moto 对于aws 服务的mock 操作 参考资料 https://docs.localsta 阅读全文

posted @ 2022-05-08 11:08 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

localstack 运行参考架构
摘要：内容来自官方文档，并不是很完整，这是整体的效果，对于详细的推荐阅读源码 参考图 持久数据参考设计 这个比较有意思，官方区分了社区本以及企业版，社区版特别简单，企业版比较有意思 参考图对于DynamoDB 使用了sqlite 数据库，Kinesis序列化为json，其他的序列化为pickle 文件 参 阅读全文

posted @ 2022-05-08 10:56 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

localstack 的域名访问机制简单说明
摘要：目前是通过猜测的，详细的如果官方文档有介绍会补充完善 参考图 dns 解析处理 说明 localstack 本地访问还是比较有意思的，提供了一个dns，实现了类似xip 的解析处理，远端的管理通过本地api 可以直接管理本地运行的localstack 服务 参考资料 https://docs.loc 阅读全文

posted @ 2022-05-07 22:32 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

localstack 试用
摘要：以前大概介绍过localstack，以下是关于localstack的试用## 环境准备 python3 以及docker,localstack 基于python 开发，使用docker 运行，镜像不小，推荐先下载 docker pull localstack/localstack:latest 安装 阅读全文

posted @ 2022-05-07 21:48 荣锋亮 阅读(615) 评论(0) 推荐(0) 编辑

localstack 强大的云服务环境模拟器
摘要：localstack 是基于python开发可以使用docker 运行aws 云环境模拟器，支持的服务不少，同时官方也提供了专业版以及企业版（基于订阅的） 包含的特性 高效、快速的基于本地环境运行开发以及测试 不依赖云基础设施 参考玩法 此图来自官方文档，可以很好的说明localstack提供的能力 阅读全文

posted @ 2022-05-07 19:43 荣锋亮 阅读(237) 评论(0) 推荐(0) 编辑

使用glowroot apm分析dremio 调用
摘要：我以前介绍过关于使用jprofiler（商业软件的）调用分析jprofiler 是比较强大的一个工具，对于简单来说 glowroot 也是可行的（opentelemetry 也是一个好选择），以下是关于dremio 集成glowroot的一个简单 说明 环境准备 基于docker-compose 运 阅读全文

posted @ 2022-05-07 16:47 荣锋亮 阅读(438) 评论(0) 推荐(0) 编辑

glowroot java apm 试用
摘要：一个简单的demo，包含了http 请求以及sql 操作 spring boot java 应用 代码很简单，推荐查看github glowroot-spring-boot-demo 运行 这个比较核心，主要是基于docker 运行 Dockerfile FROM openjdk:11.0.14.1 阅读全文

posted @ 2022-05-06 21:13 荣锋亮 阅读(482) 评论(0) 推荐(0) 编辑

glowroot java 简单的轻量的apm 工具
摘要：glowroot 是java 开源apm，支持嵌入模式以及独立模式 支持的特性 慢查询，异常 持续捕捉 响应时间图 服务调用捕捉以及聚合 火焰图 配置报警 历史分析 sql 捕捉 异步以及多线程处理 可选中心colletor' 说明 如果为了简单可以使用下使用简单，功能强大，但是从业界标准来说基于o 阅读全文

posted @ 2022-05-06 20:54 荣锋亮 阅读(761) 评论(0) 推荐(0) 编辑

dremio 分布式存储以及云存储缓存简单说明
摘要：实际上以前我也简单介绍过，以下主要是对于这些有一些整体的介绍 分布式存储 paths.dist 配置属性，包含了加速，表，job 结果，上传以及下载的数据，支持包含了共享存储（nas，hdfs，以及对象存储） 对于对象存储实际上还是hdfs，只是处理上配置不一样 paths: { ... dist: 阅读全文

posted @ 2022-05-06 14:17 荣锋亮 阅读(386) 评论(0) 推荐(0) 编辑

dremio 21 其他一些新特性
摘要：此次发布，bug 修复不少，主要说明一些新特性 新特性 arrow flight sql 支持 公共子表达式排除（主要实现了复用） 原生向量copy 还是性能提升的 CTAS 支持iceberg 存储格式（目前测试有问题，可能是需要使用分布式存储配置，确定之后补充） 说明 官方的发布是没有直接区分社 阅读全文

posted @ 2022-05-06 13:00 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

dremio 21 pdfs 不在支持
摘要：个人猜测，应该是不利于后续的加速优化以及对于Iceberg 特性的支持 参考配置 配置来自helm paths: { # Local path for dremio to store data. local: ${DREMIO_HOME}"/data" # Distributed path Drem 阅读全文

posted @ 2022-05-06 12:52 荣锋亮 阅读(54) 评论(0) 推荐(0) 编辑

dremio 21 CTAS 数据分片的变动
摘要：CTAS 对于数据分片的变动是一个比较大的影响，尤其是已经使用过了数据分片的 说明 实际上经过测试似乎是兼容的，也有可能是我的20版本与21 版本差异的问题，或者dremio 实际存储的问题，或者就是问文件夹层级比较多的时候官方的发布的文档对于此介绍个人感觉比较难懂，而且经过测试效果并不是这样的 参 阅读全文

posted @ 2022-05-06 12:03 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

minio Error: Storage resources are insufficient for the read operation 问题参考解决
摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景 初始化的时候 初始化的时候最好查看自己的配置，以及存储类型时候有问题 已经运行了 对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题 阅读全文

posted @ 2022-05-06 10:43 荣锋亮 阅读(3930) 评论(0) 推荐(0) 编辑

graalvm typescript types 编写定义参考说明
摘要：以下只是一个简单的学习，大家可以参考，然后基于此扩展 案例说明 就是一个简单的java.math.BigInteger 定义 参考定义 package.json { "name": "@dalongrong/graalvm-type-learning", "version": "1.0.0", "m 阅读全文

posted @ 2022-05-05 21:54 荣锋亮 阅读(162) 评论(0) 推荐(0) 编辑

iasql-engine 基础设施即数据
摘要：iasql-engine 是基于pg 的基础设施即数据 来自官方的一张图 这张图比较形象的说明了iasql-engine的功能 说明 iasql-engine 的的理念很不错，目前只支持基于aws 的，也在计划支持其他云厂商的,代码基于了typescript orm 使用了typeorm 还是值得学 阅读全文

posted @ 2022-05-05 00:21 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

基于s3的一种luarocks 私服多租户解决方案
摘要：参考图 细节说明：我们基于s3 进行rock 的存储，对于不同用户（租户）的我们可以选择使用不同的s3 bucket，同时还会读取rock 的元数据信息，存放到数据库中（可以基于mongo 或者其他nosql 数据库） 说明 以上是一个简单的集成，对于api 部分，我们很多时候直接复用luarock 阅读全文

posted @ 2022-05-04 23:26 荣锋亮 阅读(75) 评论(0) 推荐(0) 编辑

luarocks 私服搭建&简单使用
摘要：luarocks 私服实际上并不算难，核心还是文件，以及元数据，luarocks 提供了相关的命令可以支持 参考处理 需要先基于pack 构建文件，后然使用luarocks-admin 提供的命令生成元数据，对于静态内容的提供我们基于nginx 就可以了 参考构建 编写rocksspec packa 阅读全文

posted @ 2022-05-04 11:52 荣锋亮 阅读(336) 评论(0) 推荐(0) 编辑

luarocks 简单使用&openresty 离线集成说明
摘要：luarocks支持的命令 luarocks --help Usage: luarocks [-h] [--version] [--dev] [--server <server>] [--only-server <server>] [--only-sources <url>] [--namespac 阅读全文

posted @ 2022-05-04 10:28 荣锋亮 阅读(774) 评论(0) 推荐(0) 编辑

dremio 21.1 UI 新变动
摘要：dremio 21.1 最近几天已经发布了，ui 变动不少，使用更加专业了，以下是一个简单的说明 支持script 保存 参考下图，script 保存是一个比较方便的能力，以前我们很多时候都是基于vds 处理的，此时就很方便了如果能支持基于文件夹的管理就更加方便了 函数功能界面调整 老版本帮助函数很 阅读全文

posted @ 2022-05-03 21:24 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

dremio 21 版本发布
摘要：就在两天前dremio 发布了21.1 版本，ui 以及功能上有不少提升（后续详细介绍），而且docker 镜像以及tar 包都提供了对于arrow sql 以及支持是一个很不错的功能（这个后边很值得说说） 说明 新版本如果使用的话，会发现一个直接的bug，就是对于创建的view （vds） 可以保 阅读全文

posted @ 2022-05-02 23:57 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

openresty 提供的几个新的生命周期阶段指令
摘要：实际上这几个指令很早就有了，只是最近在重新学习openresty 的时候发现的 exit_worker_by_lua_* 在每次nginx worker 进程退出的时候执行，当master 进行禁用的时候，这个钩子会在nginx 进程退出之前执行主要的场景是进行资源释放，以及worker 非正常退出 阅读全文

posted @ 2022-05-01 19:45 荣锋亮 阅读(372) 评论(0) 推荐(0) 编辑

openresty lua 文件处理的一些技巧
摘要：luajit 字节码加载 功能 代码j简单防护处理，以及一些优化，注意jit编译的字节码，明文很容易看到大致的处理， 参考使用 ./luajit -bg /opt/lua/acc.lua /opt/lua/acc.ljbc // 可以按照实际添加g 参数，时候保留debug 信息 静态链接 对于的确 阅读全文

posted @ 2022-05-01 18:26 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

使用TypeScriptToLua+openresty-lua-types+docker-compose nginx resty.ipmatcher 集成使用
摘要：还是基于现有的扩展开发的，主要是尝试下 主要内容 包含类型定义以及，安装扩展使用 环境准备 详细介绍可以参考 https://www.cnblogs.com/rongfengliang/p/16210941.html 类型定义 resty-ipmatcher.d.ts declare module 阅读全文

posted @ 2022-05-01 11:16 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

导航