hhdb数据库介绍(2-3)

数据库运维管理

HHDB Server在参数配置、服务监控、数据检测、安全防护、故障告警等多方面提供智能化运维服务。

主备数据一致性检测

管理平台提供逻辑库、存储节点、配置库维度的主备数据一致性校验功能。主从数据一致性检查，可校验主库与从库之间的表结构与表数据是否一致。当检测存在少量的数据不一致时，主从数据一致性检查可定位到数据行不一致的主键值；有大量不一致时，则显示不一致的主键值区间或显示全表大量不一致的提示。此外，还可以添加定时计划，定期检测所选逻辑库中的数据一致性情况。

全局表数据检测

管理平台提供全局表数据检测功能，可选择具体逻辑库中的全局表并检测该表在所有数据节点中数据是否一致。如存在不一致的数据，可以通过修复功能进行数据修复。此外，还可以通过添加定时检测计划，定期检测全局表数据的一致性，如检测发现异常，将在事件通知中告知用户。

数据分片路由正确性校验

HHDB Server支持对水平分片表的历史数据的路由正确性进行校验。可检测业务数据是否按配置的分片规则正确路由，也可校验从其他关系集群数据库系统导入至HHDB Server的分片数据是否存在路由错误的问题。

数据唯一约束检测

HHDB Server支持对水平分片表或子表发起数据唯一约束检测。可及时发现集群中已开启唯一约束的表的历史数据是否存在不唯一的情况。对检测出违反唯一约束的表的重复数据进行可视化展示，方便用户进行修复。

数据分片方案推荐

HHDB Server支持基于仿真压测生成的SQL日志，进行分片方案推荐计算，帮助用户通过实际业务场景找到合适的表分片字段。结合少量人工调优，例如更换合适的分片算法，最终可为用户生成适合生产环境的业务表分片方案。

分片方案在线变更

提供对业务表的表类型、分片规则、分片字段、分片所属数据节点四个维度的在线变更支持。同时可结合智能分片方案推荐结果进行单个或批量表变更操作。支持变更业务表时设置数据复制暂停时段规避业务高峰期，减少对系统性能的影响。

表结构变更

普通DDL

管理平台支持执行普通DDL功能，支持对数据库表的创建与修改。同时，针对敏感操作，例如"drop、truncate"等SQL进行二次口令校验，防止误操作与恶意操作。

在线DDL

管理平台支持执行在线DDL（OnlineDDL）功能，保证在进行表变更时，不会阻塞线上业务读写。并且所有正在执行的或执行完成的变更记录可在在线变更检测页面查看。

SQL路由计划查看

HHDB Server提供SQL路由计划查看功能。可查看被执行SQL语句的路由计划，展示SQL通过计算节点路由分析后具体下发的数据节点，为用户提供SQL下发情况预测信息。

配置参数校验

HHDB Server支持对当前已配置的数据节点、存储节点、逻辑库、分片规则、数据库用户等信息进行一键式检测。如有异常或错误，则提示错误信息并定位到具体的错误源位置。

多集群服务管理

管理平台支持管理多套计算节点集群。用户可在登录管理平台后在"计算节点选择"页面选择具体的集群进入管理。同时"计算节点选择"页面支持对集群内所有的计算节点实例运行状态以及配置库所有实例运行状态进行实时展示。

智能逻辑拓扑

管理平台基于计算节点的应用连接池和数据库连接池信息，动态生成每个应用程序客户端的：连接数、QPS；每个数据节点的：复制状态、数据容量、连接数、QPS；每个存储节点的：复制时延、连接数、QPS；每个逻辑库的：连接数、QPS以及计算节点的各个参数状态值。这些信息在拓扑图中集中展示。
用户可为拓扑图中监控的对象设置报警阈值。当达到阈值时图标会以闪烁与颜色变化（黄色警告、红色报警）的方式提示系统出现的异常。用户可以通过鼠标悬停具体报警的图标了解报警原因，帮助用户快速准确定位出现问题的位置。
拓扑图支持记录并展示前端应用、计算节点、存储节点产生的INFO、WARNING、ERROR信息。
支持2D与2.5D拓扑图切换查看。
用户可通过拓扑图直接对具备主从或双主复制关系的数据节点进行手动高可用切换，也可以右键复制每一个存储节点的数据库连接信息。

智能物理拓扑

物理拓扑图主要从服务器的视角展示集群组件与服务器之间的关系。同时，可查看服务器资源使用情况以及集群组件服务的运行状态。需要为服务器配置可用的SSH连接信息，否则只能查看服务器与集群组件的所属关系，无法查看服务器资源使用情况与组件程序的状态。

监控面板

管理平台支持对计算节点服务状态、计算节点吞吐量以及计算节点服务器资源的监控。

计算节点服务状态监控：客户端连接总数、计算节点线程使用情况、后端连接状态、计算节点直接内存使用率、实时数据量、计算节点堆内存使用率。

计算节点吞吐量：网络流量监控、TPS、QPS、客户端操作速率、后端操作速率。

计算节点服务器资源：服务器内存使用情况、服务器磁盘空间使用情况、服务器CPU负载情况、服务器CPU使用率、服务器磁盘读写情况、服务器网络流量进出情况、服务器磁盘IO带宽利用率。

集群资源监控：包括存储节点及其他有SSH访问权限的服务器。监控项有：CPU使用率、内存使用情况、磁盘使用情况、网络进出流量。对超出配置的监控阈值的服务器进行预警、对无法连接的服务器进行故障显示。

数据增量预测：可以根据历史数据记录，提前规划存储节点/配置库数据容量。

JOIN关系分析

管理平台基于计算节点记录的SQL日志，利用符合JOIN查询场景的SQL日志，以可视化的形式展现各业务表之间的关联关系。用户通过图形化的展示可快速定位业务中存在高频JOIN的表，以及定位因种种原因而成为跨库有交叉类型JOIN的SQL。为用户调整分片规则与优化JOIN查询SQL，提升系统性能提供可靠依据。

数据报表

支持集群数据量、计算节点吞吐量、数据节点吞吐量、计算节点连接信息的报表展示。展示形式可选择图形模式或者表格模式，同时可将报表数据直接导出到本地。

集群数据量报表：集群数据量变化趋势图、集群数据量分布图、逻辑库数据量分布图、表数据量分布图。

计算节点吞吐量报表：计算节点吞吐量变化趋势图、计算节点吞吐类型对比图、逻辑库吞吐量对比图、表吞吐量对比图。

数据节点吞吐量报表：数据节点吞吐总量对比图、数据节点吞吐量变化趋势、集群吞吐类型对比图、逻辑库吞吐量对比图、表吞吐量对比图。

计算节点连接报表：总连接数、连接时长最长的连接、操作次数最多的连接、连接次数最多的连接、连接总时长占比、连接总次数占比、操作次数占比、前端应用IP连接分布图、连接用户分布图、逻辑库分布图。

表结构与索引检测

管理平台支持按逻辑库为单位，检测逻辑库下的表，在所属数据节点中的表结构与索引定义是否一致。检测到不一致的表则在检测结果中显示出不一致的原因。此外还可以通过添加定时任务监测业务表状态，发现表结构或索引存在定义异常系统将立即在事件通知中提醒，帮助用户及时发现有问题的表。

审计日志

管理平台支持对用户操作的审计记录，包括：管理平台基本操作、安全防护操作、管理端口命令操作等。有助于系统出现异常时，进行问题排查、分析。

操作日志智能分析

管理平台提供统计select、insert、update、delete、事务开启、提交、回滚等SQL语句执行耗时及执行次数详情的操作日志智能分析功能。通过内部算法自动分析出需要优化的SQL语句，并通过待优化标志以及SQL优化建议辅助用户对业务SQL进行调优。用户也可以自主查询页面统计结果得到SQL执行的情况，分析出哪些SQL语句需要优化，有利于系统性能提升。

业务数据汇报

可对年度集群运行状况的关键数据进行汇总报告，以便了解集群运行状况。

历史事件与计算节点日志

历史事件

主要记录服务器时间差异、参数感知、存储节点被共用、主备数据一致性检测、一键迁库、全局表数据检测、表结构与表索引检测、配置修改导致备份失效、全局唯一约束异常等相关事件信息。不同事件信息对应不同的报警级别包括：ERROR、WARNING、INFO、UNKNOW。

计算节点日志

主要提供计算节点运行过程中产生的日志信息。管理平台默认只获取计算节点中ERROR级别的日志信息（可自定义获取日志级别）。可通过时间范围、日志类型、日志级别、查看状态、日志内容对日志信息进行筛选。多节点模式集群可支持查看多个计算节点上的日志信息。同时支持将日志文件导出到本地保存。

分片合理性评分

管理平台提供对已创建的水平分片表的分片方案进行合理性评分，展示业务表在当前分片方案中各个维度的得分表现，帮助用户及时发现拆分不合理的业务表。

五个评判维度：

数据量分布均匀得分：根据各节点数据量分布是否均匀、增长量是否均匀计算得分。
跨库事务占比得分：根据跨节点事务查询次数占比计算得分。
SELECT操作均匀得分：根据各个节点查询总量是否均匀、跨库join查询比例、单库查询比例、无法路由导致查询所有节点的查询比例计算得分。
IUD（Insert/Update/Delete）操作均匀得分：根据各个节点IUD操作量是否均匀、单库IUD操作比例计算得分。
其他得分：根据查询无法找到节点的次数、分片字段定义是否合理计算得分。

系统异常事件邮件提醒

通过管理平台配置：发件箱参数、添加邮件接收人信息以及勾选系统监控内容后，可使用邮件提醒功能。目前邮件提醒的监控范围包括：计算节点与存储节点故障或切换、计算节点服务器资源状态、计算节点服务状态、存储节点相关检测、系统定时任务检测、许可证授权监控。若本地无法正常接收邮件，也可配置将报警日志内容输出到本地文本中。

多线程备份

HHDB Server提供类似Mydumper的多线程备份工具HHDB Backup

特性：

保证关系集群数据库全局的时间点和数据状态一致。
备份期间对线上业务无阻塞。
增量备份自动跟随完整备份。
库级别和表级别的双并行备份。
备份过程可手动取消正在执行的备份任务。
支持添加备份计划定时备份业务数据，也可以手动延迟下一次备份任务时间或设置定时计划- - 内某个时间点不进行备份。
支持XA（强一致）模式下数据备份恢复到指定时间点。
除此之外，备份程序也支持加密备份文件、计算文件MD5值、备份至远程等功能。

数据恢复

支持数据备份后在界面发起数据恢复请求。可按照恢复时间点对备份数据进行恢复，也可支持库级别、表级别数据恢复，保证数据完整性。恢复会自动根据选择的时间点带出可用于该时间点恢复的完整备份和增量备份文件。恢复过程中出现的SQL执行错误都可以在界面详细日志中查看。

数据迁出

支持数据备份后在可视化界面发起数据迁出请求。迁移对象可以是单机数据库也可以是另一套HHDB Server计算节点集群，同时可支持逻辑库级别、数据节点同构、异构模式的数据迁出功能。

数据迁入

管理平台支持使用第三方工具DataX插件来同步数据。平台支持从MySQL和Oracle两种类型数据库，同步数据到计算节点端。计算节点本身也可以作为数据库源端数据库，导入到计算节点或者存储节点目标端。

一键迁库

支持在线一键迁库功能。当存储节点所在的服务器硬件配置不足或存储节点版本需要停机升级时，可通过一键迁库功能将存储节点数据迁移至新的存储节点服务器上。一键迁库本质上是将数据节点下的存储节点更换为其余有复制关系的，拥有相同数据的，其它存储节点。

过载保护/限流

前端连接限制

支持对前端连接数总数和用户连接数进行限制，当连接数超过限制时将拒绝前端连接并给出错误提示。

存储节点连接限制

支持对存储节点最大连接数进行限制，实现对存储节点的保护。

存储节点智能流控

支持对在后端执行的各类SQL语句进行智能流控。可以根据存储节点性能表现智能调控SQL流量，保持存储节点工作在最佳状态，防止某一个存储节点因并发压力过大而宕机。

监控信息管理

管理平台支持通过界面执行部分计算节点管理端口（默认3325）中的管理命令。例如查看计算节点的前后端连接状态、当前会话连接信息、SQL运行情况、计算节点线程资源情况等。方便用户排查问题，快速解决系统故障或隐患。

配置参数热加载

支持配置参数的热加载，当更新计算节点、存储节点、逻辑库、表信息、分片规则等配置时，管理平台将通过页面提示引导用户及时点击动态加载更新计算节点内存中的配置信息。用户可以通过点击页面按钮直接加载参数到计算节点，无需重启计算节点服务。

用户权限控制管理

管理平台用户

该用户为关系集群数据库平台用户，分为管理员用户与普通用户。

管理员用户：可为管理平台添加普通用户以及添加部署计算节点集群。且可对已授权的计算节点集群进行管理，支持在管理平台用户信息中来回切换管理角色与普通用户角色视角。
普通用户：实际管理计算节点集群的用户，对已授权的计算节点集群拥有访问或者控制权限。

数据库用户

该用户为访问计算节点服务的用户。HHDB Server的用户权限体系兼容MySQL提供全局权限、库权限、表级权限多维度配置。同时新增了表级拒绝权限，方便管理员快速隔离用户对安全级别较高的业务表进行操作。也可对用户进行有效期管理、随时启用/冻结账户，增强用户管理安全性控制。

高可用环境切换及重建

HHDB Server支持通过管理平台对主备模式的计算节点集群进行可视化的手动高可用切换操作，也可以在计算节点发生高可用切换(手动或故障切换)之后，重建高可用环境，保证下次主计算节点发生故障时程序可正常切换。

安装部署

集群部署

集群部署功能是面向关系集群数据库集群进行快速部署的整体解决方案，支持对单计算节点、主备计算节点、多计算节点三种集群模式的快速部署。可安装计算节点服务、配置库实例、Keepalived、LVS、NTPD、备份程序、存储节点实例等集群所需的组件。通过集群部署可快速完成整套集群所需的组件安装、组件间关系搭建、服务启动、生成组件拓扑图等工作。