随笔分类 -  可视化

github codespaces 可以使用了
摘要:最近github 的codespaces可以使用了,很方便,实际上就是web 版的vscode,内部应该使用了一个轻量的虚拟机,里边部署了不少工具比如docker,kubectl 说明 github codespaces 值得体验使用了,默认不是root 账户,如果需要使用root 可以通过sudo 阅读全文

posted @ 2022-11-11 23:26 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

cube.js 支持views 模式
摘要:views 类似db 的view ,可以将多个cube 进行组合,可以从一下参考图看出来功能 参考图 说明 cube views是一个很不错的新功能,很值得使用,实际上以前cube 有一个context 目前来看你们没啥用了,官方博客的介绍很值得使用 参考资料 https://cube.dev/bl 阅读全文

posted @ 2022-11-04 11:31 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

grafana faro-web-sdk web 可观测性sdk
摘要:最近grafan 大会开源了不少好东西,faro-web-sdk 就是一个很不错的前端监控方案 参考架构 说明 phlare 也是grafana 开源的一些持续profle 的一个方便工具,faro-web-sdk 可以实现log,metrics 以及exception 管理,目前不同处理基于了gr 阅读全文

posted @ 2022-11-04 09:14 荣锋亮 阅读(249) 评论(0) 推荐(0) 编辑

coroot-pg-agent 专注性能的pg promtheus exporter
摘要:尽管已经有不少pg 的prometheus exporter 了,但是coroot-pg-agent 是关注与查询性能统计的还是很支持使用的pmm 也是支持pg 的,同时基于prometheus exporter 以及qan 进行处理 说明 coroot-pg-agent 的思路还是值得学习借鉴的, 阅读全文

posted @ 2022-07-24 21:21 荣锋亮 阅读(89) 评论(0) 推荐(0) 编辑

neodash 构建neo4j dashboard 的工具
摘要:neodash 方便构建基于ne4j dashboard 的工具 包含的特性 实时图表直支持(table,图,bar,line。。。) 支持neo4j 数据类型 自定义配置 保存以及加载为json 格式 参考效果 参考资料 https://nielsdejong.nl/neo4j%20project 阅读全文

posted @ 2021-02-12 12:40 荣锋亮 阅读(421) 评论(0) 推荐(0) 编辑

扩展cube.js的repositoryFactory 支持基于s3的schema 存储
摘要:cube.js 是一个很不错的数据分析框架(架构设计特别灵活,支持多种数据源的处理) 以下是扩展本地文件系统,方便的支持基于s3的后后端存储模型,以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用 参考代码 源码可以参考github rongfengliang/cu 阅读全文

posted @ 2021-01-26 11:45 荣锋亮 阅读(164) 评论(0) 推荐(0) 编辑

一些声明式可视化库
摘要:一篇不错的参考介绍文章https://dataquarium.io/intro-to-vega/ 当然如果从声明式定义老说,类似的可视化库还是比较多的 参考资料 https://echarts.apache.org/en/index.html https://vega.github.io/vega- 阅读全文

posted @ 2021-01-03 22:31 荣锋亮 阅读(143) 评论(0) 推荐(0) 编辑

vega 一个数据可视化语法指南
摘要:vega 提供了基于json 定义数据可视化操作的指南说明,同时也提供了一些参考实现(python,nodejs) 同时vega也提供了一些周边工具(editor,query engine),从官方文档看到vega 是一个很不错的指南 因为我们目前进行可视化开发缺少通用的指南,而且每中可视化组件都有 阅读全文

posted @ 2021-01-03 21:33 荣锋亮 阅读(941) 评论(0) 推荐(0) 编辑

cube.js 的rest api
摘要:cube.js 同时提供了强大的rest api 支持,默认请求地址是/cubejs-api ,当然可以通过Cube.js 修改 认证授权 cube.js api 的认证授权是基于jwt 的,同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz 阅读全文

posted @ 2021-01-01 22:58 荣锋亮 阅读(302) 评论(0) 推荐(0) 编辑

cube.js 生产部署简单说明
摘要:内容参考来自官方文档 参考说明 禁用dev 模式 CUBEJS_DEV_MODE=false 配置redis cube.js 需要redis用来加速数据的访问(cache 以及queue) 相关配置 REDIS_URL 连接redis 的配置,REDIS_PASSWORD 设置密码,REDIS_TL 阅读全文

posted @ 2020-12-01 09:38 荣锋亮 阅读(425) 评论(0) 推荐(0) 编辑

cube.js 官方docker镜像发布
摘要:最近的cube.js 官方发布了docker 镜像,基于alpine,而且官方也比较推荐使用docker 运行,这样 可以进行服务的隔离 参考使用 .env 主要是进行db配置的,具体结合自己的实际配置,参数说明,参考官方文档 cube.js // Cube.js configuration opt 阅读全文

posted @ 2020-12-01 09:21 荣锋亮 阅读(395) 评论(0) 推荐(0) 编辑

cube.js 集成 elasticsearch 的一种变通方法
摘要:前边有介绍过cube.js 对于es 的支持(以及关于opendistro elasticsearch的bug)实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题,对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文 阅读全文

posted @ 2020-02-25 09:35 荣锋亮 阅读(428) 评论(0) 推荐(0) 编辑

cube.js 最近的一些更新
摘要:cube.js 是一个和不错的数据分析框架,最近又有了一些新的功能支持,以下是一些简单的 总结 基于web socket 的预览支持 react hooks api 支持 支持基于reecharts 图表类型的api开发 cube.js server 支持https External pre-agg 阅读全文

posted @ 2019-11-22 09:31 荣锋亮 阅读(325) 评论(0) 推荐(0) 编辑

cube.js 通过presto-gateway 进行连接
摘要:cube.js 对于presto 的支持是通过presto-client 刚好简单修改了一个可以支持presto-gateway 连接的 以下是一个简单的集成,以及关于集成中原有的一些修改 环境准备 docker-compose 文件 version: "3" services: proxy: im 阅读全文

posted @ 2019-08-24 18:20 荣锋亮 阅读(525) 评论(0) 推荐(0) 编辑

cube.js 集成cratedb 的尝试
摘要:cratedb 提供了pg协议的兼容,我们可以直接使用pg client 连接,但是也不是完整实现pg 协议的 以下是 cube.js 集成cratedb 的一些尝试 环境准备 docker-compose 文件 主要是数据库环境的 主要是数据库环境的 version: "3" services: 阅读全文

posted @ 2019-08-19 09:53 荣锋亮 阅读(439) 评论(0) 推荐(0) 编辑

cratedb 做为prometheus 的后端存储
摘要:prometheus 提供了remote_write 以及remote_read 的数据存储方式,可以帮助我们进行数据的长时间存储、方便查询 cratedb 提供了对应的adapter,可以直接进行适配。 以下演示一个简单的cratedb 集群以及通过write 以及read 存储通过grok ex 阅读全文

posted @ 2019-08-18 10:17 荣锋亮 阅读(1489) 评论(0) 推荐(0) 编辑

amundsen 来自lyft 的开源数据发现平台
摘要:amundsen 是来自lyft 开源的元数据管理、数据发现平台,功能点很全,有一个比较全的前端、后端以及 数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案,很值得研究学习下,同时官方提供的基于docker-compose 的可运行环境可以简化我们环 阅读全文

posted @ 2019-06-04 20:13 荣锋亮 阅读(3435) 评论(0) 推荐(0) 编辑

cube.js 学习(三)cube.js data schema
摘要:cube.js的 data schema 类似graphql 的type 定义,但是cube.js 的data schema 更偏向于dsl, 其中抽象了进行数据分析应用开发中的东西,自己提炼了measures , dimensions,cube 说明 cube 这个是用来进行实体,或者说是数据库表 阅读全文

posted @ 2019-05-03 08:51 荣锋亮 阅读(1045) 评论(0) 推荐(0) 编辑

opendistro 试用
摘要:以前转载过一篇别人的关于opendistro的文章,还好使用docker-compose 运行,很方便,所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

posted @ 2019-04-24 22:39 荣锋亮 阅读(3022) 评论(0) 推荐(0) 编辑

loki grafana 团队开源的,类似Prometheus 的log 系统
摘要:Prometheus 主要面向的是metrics,但是loki 是log,这样加上grafana 强大的可视化以及alert能力, 我们可以做好多事情,loki 的设计来源于Prometheus。 组件说明 loki 包含三个组件 loki 核心组件进行log 的查询处理 promtail 一个ag 阅读全文

posted @ 2018-12-13 10:21 荣锋亮 阅读(7625) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示