SQL审核平台

以往我们一般是采用云哪儿网开源的inception或集成的平台来使用,如SQLAdvisior，因鉴于inception已闭源。最新的archery采用goinception,Archery是的分支项目，定位于SQL审核查询平台，旨在提升DBA的工作效率，支持主流数据库的SQL上线和查询，同时支持丰富的MySQL运维功能，所有功能都兼容手机端操作

功能清单

 查询审核执行备份数据字典慢日志会话管理账号管理参数管理数据归档
MySQL √ √ √ √ √ √ √ √ √ √
MsSQL √ × √ × × × × × × ×
Redis √ × √ × × × × × × ×
PgSQL √ × √ × × × × × × ×
Oracle √ × √ × × × × × × ×
MongoDB √ × × × × ×

SQL审核

MySQL实例

基于Inception/goInception实现，集成审核、执行、备份

非MySQL实例

支持提交和执行工单，依托工作流实现流程化管理

审核执行分离

审批和执行可以分配给不同的用户进行操作

SQL工单自动审批、高危语句驳回

  • 支持正则判断工单是否需要人工审批，开启自动审批后，不在正则范围内的SQL语句无需审批，系统自动审核
  • 自主控制SQL是否自动驳回，可自主配置对inception审核驳回的场景，支持警告驳回和异常驳回

快速上线其他实例

在工单详情可快速提交相同SQL内容到其他实例，可适用于test>beta>ga等多套环境维护的需求

定时执行

工单审核通过后可以选择定时执行或者立即执行

SQL查询

多类型数据库支持

  • MySQL 表级授权、脱敏查询
  • MsSQL 库级授权、脱敏查询
  • Redis 库级授权
  • PostgreSQL 库级授权
  • Oracle 库级授权

授权管理

  • 工作流控制SQL查询授权，支持库表级别的权限限制，以及授权时间，查询结果集的限制
  • 支持部分语句的动态查询脱敏（有限的功能）
  • 支持前台管理用户权限，对用户权限进行修改和维护
  • 支持查询导出、查询日志审计

页面体验

  • 库、表、字段补全提示
  • 多结果级展示
  • 表结构查看

SQL优化

慢日志管理

基于PT收集慢日志，需要单独部署

SQL语句优化

基于SQLAdvisor|SOAR|SQLTuning的全方位优化建议

实例管理

会话管理

  • 支持查看和批量终止会话
  • 支持查看事物、锁信息

数据库管理

管理实例数据库，支持添加

账号管理

管理实例账号，支持增加、授权、删除

参数配置

可修改实例动态参数并记录修改历史

工具插件

PTArchiver

支持使用pt-archiver归档MySQL数据，支持直接添加配置和由用户申请归档

Binlog2SQL

将Binlog2SQL模块可视化，从MySQL binlog解析出你要的SQL

SchemaSync

对比不同数据库的Schema信息，输出修改语句和回滚语句，SchemaSync不仅限于表结构，它可以处理的对象还有：视图、事件、存储过程、函数、触发器、外键

资源（项目）组

支持自定义资源(项目）组，管理资源组和关联对象，资源组成员之间审批流程、实例配置、消息通知等资源隔离

权限（角色）组

权限可以分配给用户，也可以分配给权限组，支持对大多数操作进行限制，独立控制用户的审核、执行等操作权限

工作流

工作流审批流程支持多层级多用户，并且隔离资源组，不同资源组不同的工单类型可以配置不同的审批层级

配置管理

系统配置项、工作流审批流程可在前端页面动态修改，无需重启服务实时生效

消息通知

支持钉钉、企业微信、邮件通知，及时知晓工单状态变化

可视化

使用pyecharts实现工单、查询维度的可视化统计

功能导图

Archery

 
上一页快速开始

部署

启动

#git clone https://github.com/hhyo/Archery.git

[root@dba docker-compose]# pwd
/data/Archery/src/docker-compose
[root@dba docker-compose]# ll
total 16
drwxr-xr-x 5 root root 4096 Aug 29 18:46 archery
-rw-r--r-- 1 root root 1447 Aug 29 17:10 docker-compose.yml
drwxr-xr-x 2 root root 4096 Aug 29 17:10 inception
drwxr-xr-x 3 root root 4096 Aug 29 20:26 mysql

#启动
docker-compose -f docker-compose.yml up -d

[root@dba docker-compose]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d9530cc53ca8 hanchuanchuan/goinception "/usr/local/bin/dumb…" 2 hours ago Up 2 hours 4000/tcp goinception
769075bd914e mysql:5.7 "docker-entrypoint.s…" 2 hours ago Up 4 minutes 0.0.0.0:3306->3306/tcp, 33060/tcp mysql
c4ff9b9b11cc hhyo/inception "/bin/sh -c 'nohup /…" 2 hours ago Up 2 hours 6669/tcp inception
c8949256236a redis:5 "docker-entrypoint.s…" 2 hours ago Up 2 hours 6379/tcp redis
7ea1a1ab865f hhyo/archery:1.7.12 "dockerize -wait tcp…" 2 hours ago Up 5 minutes 0.0.0.0:9123->9123/tcp archery
fa7fd94fa862 portainer/portainer "/portainer" 5 days ago Up 5 days 0.0.0.0:8060->9000/tcp portainer
542abc6074be 276a1d8eca40 


#表结构初始化

[root@dba ~]# docker exec -ti archery /bin/bash
[root@7ea1a1ab865f archery]# cd /opt/archery
[root@7ea1a1ab865f archery]# source /opt/venv4archery/bin/activate
(venv4archery) [root@7ea1a1ab865f archery]# python3 manage.py makemigrations sql
Migrations for 'sql':
sql/migrations/0001_initial.py
- Create model SlowQuery
- Create model SlowQueryHistory
- Create model ArchiveConfig
- Create model CloudAccessKey
-.............................
- Create model InstanceAccount
(venv4archery) [root@7ea1a1ab865f archery]# python3 manage.py migrate
Operations to perform:
Apply all migrations: admin, auth, contenttypes, django_q, sessions, sql
Running migrations:
Applying contenttypes.0001_initial... OK
Applying contenttypes.0002_remove_content_type_name... OK
Applying auth.0001_initial... OK
Applying auth.0002_alter_permission_name_max_length... OK

...............................

#数据初始化
python3 manage.py dbshell<sql/fixtures/auth_group.sql
python3 manage.py dbshell<src/init_sql/mysql_slow_query_review.sql

#创建管理用户

(venv4archery) [root@7ea1a1ab865f archery]# python3 manage.py createsuperuser
用户名: andyxi
电子邮件地址: 13549858@qq.com
Password:
Password (again):
Superuser created successfully.



#宿主机中重启服务

[root@dba ~]# docker restart archery
archery



#日志查看和问题排查

[root@dba ~]# docker logs archery -f --tail=10
logs/archery.log收集所有的静态文件到STATIC_ROOT
启动Django Q cluster
启动服务
[2020-08-29 20:42:52 +0800] [26] [INFO] Starting gunicorn 20.0.4
[2020-08-29 20:42:52 +0800] [26] [INFO] Listening at: http://127.0.0.1:8888 (26)
[2020-08-29 20:42:52 +0800] [26] [INFO] Using worker: gevent
[2020-08-29 20:42:52 +0800] [29] [INFO] Booting worker with pid: 29
[2020-08-29 20:42:52 +0800] [30] [INFO] Booting worker with pid: 30
[2020-08-29 20:42:52 +0800] [31] [INFO] Booting worker with pid: 31
[2020-08-29 20:42:52 +0800] [32] [INFO] Booting worker with pid: 32

访问

http://127.0.0.1:9123/(我的是cloud外网)

 

 

修改配置项

系统配置

 

 

Inception配置

INCEPTION

是否启用Inception替换goInception，开启后需要配置Inception的连接信息，备份库的配置地址可复用，将会使用Inception来替代goInception对MySQL进行审核和执行

GO_INCEPTION_HOST

goInception的连接地址，用于MySQL审核执行，docker-compose启动的请配置为容器名，比如goinception，参考文档：https://github.com/hanchuanchuan/goInception

GO_INCEPTION_PORT

goInception的连接端口，默认4000

INCEPTION_HOST

Inception连接HOST，用于SQL查询语法解析，docker-compose启动的请配置为容器名，比如inception，参考文档 ：https://github.com/hhyo/inception

INCEPTION_PORT

Inception连接端口，即Inception配置文件inc.cnf内的port

REMOTE_BACKUP_HOST

goInception/Inception的备份库链接HOST，用于页面展示回滚语句 - goInception和配置文件config.toml内的backup_host保持一致 - Inception和配置文件inc.cnf内的inception_remote_backup_host保持一致，具体说明可参考Inception 备份功能说明

REMOTE_BACKUP_PORT

goInception/Inception的备份库链接端口 - goInception和配置文件config.toml内的backup_port保持一致 - Inception和配置文件inc.cnf内的inception_remote_backup_port保持一致

REMOTE_BACKUP_USER

goInception/Inception的备份库链接用户 - goInception和配置文件config.toml内的backup_user保持一致 - Inception和配置文件inc.cnf内的inception_remote_system_user保持一致

-- 建议赋予用户权限
GRANT SELECT, INSERT, CREATE ON *.* TO 'inception_bak'
REMOTE_BACKUP_PASSWORD

goInception/Inception的备份库链接用户 - goInception和配置文件config.toml内的backup_password保持一致 - Inception和配置文件inc.cnf内的inception_remote_system_password保持一致

需要注意的是，该配置信息，仅仅用于archery从备份库查询回滚语句使用，该配置信息不会被goInception服务使用，goInception连接备份库使用的数据库连接信息应在其自身的config.toml中配置。

SQL上线

CRITICAL_DDL_REGEX

高危SQL语句正则判断条件，用于控制禁止提交的语句，匹配的语句会禁止提交，例如^truncate|^rename|^delete则会禁止提交清空表、修改表名、删除操作的SQL语句，前端展现如下 -w1089

AUTO_REVIEW_WRONG

用于控制自动驳回的等级，驳回的工单不会通知审核人，会系统直接审核不通过。1表示SQL上线审核出现警告信息就驳回，2和空表示出现错误才驳回，其他设置表示不驳回，审核规则请参考Inception所支持的参数变量，前端展现如下 -w1129

ENABLE_BACKUP_SWITCH

是否开启备份选项，未开启时提交SQL工单，将不会显示是否备份选择项，系统会强制备份

AUTO_REVIEW

是否开启SQL上线自动审批，开启自动审批后，当提交的SQL语句不匹配AUTO_REVIEW_REGEX规则，并且update语句的总影响行数低于MAX_UPDATE_ROWS时，系统则会自动审批通过，前端展现如下 -w1138

AUTO_REVIEW_REGEX

正则条件，用于过滤部分需要人工审核的语句，开启自动审批后，当工单中存在匹配的语句时则需要人工审批，例如^create则表示建表语句需要人工审批

MAX_UPDATE_ROWS

自动审批允许工单最大更新行数，系统会遍历工单内所有update语句，使用explain预估影响行数，当影响函数超过该值时则工单需要人工审批

MANNUAL

是否开启SQL上线手工执行确认，开启后在审核通过的工单详情中会出现手工确认按钮，可以仅仅依靠Archery走工单流程，DBA线下手动执行语句并且确认执行结束

SQL查询

QUERY_CHECK

相关issues: https://github.com/hhyo/Archery/issues/145

是否开启SQL查询脱敏的Inception检测，平台的SQL查询功能依靠Inception的语法树打印来解析查询语句中包含的库、表、字段信息，从而进行数据脱敏

  • 开启QUERY_CHECK后，如果遇到Inception无法解析的语句，则会直接抛出错误信息，禁止查询
  • 关闭QUERY_CHECK后，如果遇到Inception无法解析的语句，系统不再进行数据脱敏，会有数据泄露的风险，请谨慎选择
  • 动态脱敏不支持的语法：嵌套子查询、部分非单字段函数，如concat(phone,',')、max(id+num)
DATA_MASKING

是否开启动态脱敏，会利用inception语法树打印，结合后台设置的脱敏字段和脱敏规则，对查询数据进行脱敏。遇到无法解析的语句是报错还是返回未脱敏的数据同样由QUERY_CHECK参数控制 * 正常脱敏： -w1331* 开启QUERY_CHECK后执行不支持语句 -w1338* 关闭QUERY_CHECK后执行不支持语句 -w1329

MAX_EXECUTION_TIME

在线查询超时时间阈值，单位秒，默认60，超时的语句会被终止并返回提示信息，目前仅支持MySQL

ADMIN_QUERY_LIMIT

超级管理员的查询限制行数，超级管理员查询数据时不做权限校验，仅由该参数设置最大行数

SQL优化

SQLADVISOR_PATH

SQLAdvisor的可执行文件路径，路径需要完整，docker镜像内已经集成 * 1.4.0以前的docker版本配置成/opt/sqladvisor * 1.4.0以以后的docker版本配置成/opt/archery/src/plugins/sqladvisor

SOAR_PATH

SOAR的可执行文件路径，路径需要完整，docker镜像内已经集成，docker镜像内已经集成 * 1.4.0以前的docker版本配置成/opt/soar * 1.4.0以以后的docker版本配置成/opt/archery/src/plugins/soar

SOAR_TEST_DSN

参考SOAR文档：命令行参数配置DSN

通知

ARCHERY_BASE_URL

系统首页地址, 用于钉钉和邮件发送链接使用，如https://archery.xx.com/

DDL_NOTIFY_AUTH_GROUP

DDL工单通知权限组名，对应权限组管理页面的名称，为空则不通知，仅DDL工单执行完毕时会进行通知 -w1311

MAIL

是否开启邮件通知

MAIL_SSL

是否使用SSL连接

MAIL_SMTP_SERVER

邮件SMTP服务地址，可参考各邮箱对应的设置帮助，例如QQ邮箱的如何使用IMAP服务？

MAIL_SMTP_PORT

邮件SMTP服务端口

MAIL_SMTP_USER

邮件用户名

MAIL_SMTP_PASSWORD

邮件密码，一般为生成的授权码

DING

是否开启钉钉通知，开启后需要配置资源组的机器人webhook连接，资源组内的所有通知都会通过机器人推送

DING_TO_PERSON

是否开启钉钉个人通知，使用微应用＋工作通知实现

企业微信

参考企业微信接入开发文档，配置成功后消息会通过企业微信通知

其他配置

阿里云认证信息

实例关联RDS实例ID后，会调用RDS接口获取慢日志、进程、表空间，其中进程和表空间的获取需要管理权限的key

INDEX_PATH_URL

系统首页路径，默认是SQL工单页面

BINLOG2SQL

BINLOG2SQL调用路径，用于实现binlog2sql解析的功能，docker镜像内已经集成 * docker部署请配置为/opt/archery/src/plugins/binlog2sql/binlog2sql.py

DEFAULT_AUTH_GROUP

默认权限组名，新用户首次登录自动关联, 老用户请手动配置

DEFAULT_RESOURCE_GROUP

默认资源组名，新用户首次登录自动关联, 老用户请手动配置

LOCK_TIME_THRESHOLD

账户登录失败锁定时间(秒)

LOCK_CNT_THRESHOLD

账户登录失败几次锁账户

SIGN_UP_ENABLED

是否开启注册功能，关闭后将无法自主注册用户

posted @ 2020-08-29 16:01  青空如璃  阅读(4197)  评论(0)  编辑  收藏  举报