一款基于 Web 的通用数据管控工具 CloudQuery
前言
前段时间,公司因为业务发展,数据量攀升,老板迫切需要一个工具对数据进行精细化管理,一是确实需要精细化管理;二是因为我们公司小,数据本来就乱,加上前两天链家员工删库跑路事件,老板估计有点慌,万一谁心情不好来个 rm-rf /*,公司就凉了,于是,这任务就喜忧参半的落到了我的头上,而且老板临走还告诉我预算有限,看着办。
先是在几个大厂的云市场上找,毕竟大品牌,看了华为 DAS,阿里云的 DMS 等等,产品都还不错,但有些功能要么不支持,要么太贵,这就很尴尬。
之后在 GitHub 和开源中国上找,发现了不少好东西,例如 cloudbeaver 就不错,但玩了一下午发现没权限和审计😢 。还有一些不错的堡垒机和开源工具,不过也不是我们想要的。
最后在墨天轮瞎逛时点开了 CloudQuery 的直播,从此发现了新大陆。还在直播活动中抽到了一个保温杯,哈哈!
所以,我现在就拿着 CloudQuery 赠送的保温杯泡着枸杞,写下了这篇文章。
介绍
CloudQuery 是一款基于 Web 的数据管理工具,可部署到各大云端。轻量化,无需下载本地软件,安装在服务器上所有人就都可以用浏览器登录使用,实现数据统一管理。尤其令我惊奇的是, CloudQuery 9 月份上线,现在不过 4 个月多点,能做成这样真是厉害!
内容
安装
- 安装时出了点小意外,没看安装手册,用 4 核 8G 的服务器安装了完整版,导致下载完成启动失败,后面问小助手才发现是因为机器配置不足,所以给大家提个醒,完整版对服务器要求高,一定要看一眼手册再下载,避免浪费时间。
- 后来换了高配服务器,就可以正常启动了。下载的过程很简单而且不需自己动手,它会先下载环境再下载应用,每步有进度和提示,体验不错。
添加连接
-
CloudQuery 支持的数据库种类很全,像平时我们用到的 MySQL、Oracle、PG、Redis、SQLServer、MongoDB 都支持,还支持国产数据库达梦,这就很 nice!每种数据库都支持两三种主流版本,完全可满足公司的数据库需求。
数据操作
- 数据操作方面,整体感觉不错,像添加表和视图、转储 SQL 文件、编辑查看单元格、语句智能提示、打开终端、结果集多格式导出等大类功能都支持,执行计划、事务手动/自动提交、执行中断、语句收藏等常用的小类功能也有。
- 不过也有优化的地方,例如查看表结构的中文备注,结构迁移、数据迁移,字段类型也稍微少了些。不过按照他们两周一次的迭代速度,后面应该会支持,期待 CloudQuery 在数据操作方面早日成为 Web 版的 navicat,那就牛了。
组织架构
组织架构功能如果说满分100分的话,我只能打 82 分,剩下的分数用 666 来给。组织架构这个功能,拿来就能直接用到公司环境中,添加部门、添加组、添加用户包括管理等都特别方便。
系统权限
-
CloudQuery 对用户分配系统权限时,需要先创建一个角色,然后再进行授权。
-
系统权限有:系统设置、添加连接、审计分析。例如只给用户分配添加连接的权限,系统设置和审计分析功能等相关的所有功能都将无法使用,起到对用户进行分级管理的作用。
数据操作权限
- 数据操作权限是公司最为看重的功能,我们迫切需要一个管理手段,正巧它就来了。
- CloudQuery 的数据操作权限功能做的很详细也比较全。例如,当 DBA 设置一个角色,让这个角色只拥有查看和增加 MySQL 连接中的 A 库 B 表和 B 视图的权限,把这个权限赋予小明,小明就只能做权限内的事情。
- 如果还要给某用户增加更多权限,或统一给相似用户授权时,还可以设置有一个权限集,在实际工作中这样授权效率很高。
- 不过权限方面也还有优化空间,例如可以增加结果集导出的权限,打开终端权限,增加更多权限类型等......哈哈,一不小心就提了需求。
应用分析
- 在应用分析中可查看今日常用表的读写次数,SQL 的执行排行情况,SQL 的执行耗时排行情况,根据这些信息,同事们就可以更具体排查和调优,点赞!希望以后还会增加更多类似功能,例如 高危 SQL 的排行等。
审计分析
- CloudQuery 的审计分析会对所有在系统内执行的 SQL 语句进行审计分析,保证数据皆有据可查。
- 审计分析中可看到执行总数、错误语句数、各语句的执行占比情况、活跃用户数、今日用户排行情况等,比较详细,能够满足我们日常工作。
- CloudQuery 支持审计明细,可以根据多种过滤条件进行查询,支持导出明细信息到本地。
个人文件夹
- 个人文件夹可从本地导入文件,也可以在终端打开,这个小功能挺不错!~
执行历史
- 打开执行历史时可以看到自己一段时间内的执行记录及常用的连接,懒人福利。
总结
CloudQuery 是一款相当不错的管理工具,集成了很多 DBA 和开发者的常用功能,重点支持了权限管控和审计分析,非常适合国内中小企业和团队,希望保持初心,越做越好!
对了,重要的一点忘了提:CloudQuery 完全免费!这里手动@官网:🔗www.cloudquery.club
我觉得可以向他们收广告费了,哈哈哈哈
完。