华为云FusionInsight MRS ClickHouse 增强特性介绍

ClickHouse是Yandex开发的用于联机分析(OLAP)的DBMS。 2016年根据Apache 2.0许可证开源。功能上支持DDL、DML、数据备份恢复、权限控制、分布式管理等完备的DBMS功能，SQL基本与标准SQL兼容，支持丰富的函数和数据类型，具有强大的MergeTree表引擎，列式存储支持LZ4压缩，支持数据分片、数据分区、主键稀疏索引、二级跳数索引，支持数据多副本、TTL等，支持向量化执行、分布式多核并行计算、动态代码生成，性能卓越；适用于网络/APP流量分析、用户行为记录分析、商业智能(BI)、监控系统等实时分析场景。该引擎一经面世，便备受瞩目，其性能大幅超越了很多商业MPP计算框架，比如Vertica、InfiniDB，相比同类竞品，ClickHouse查询性能要快百倍以上，被称为最快的数据库。自Hadoop诞生以来，经过多年发展，整个生态体系已经非常成熟，但其最大短板还在于数据处理的时效性，ClickHouse的诞生一定意义上弥补了这个短板。

目前ClickHouse在国内外社区十分火热，大批厂家纷纷跟进并大规模投入使用，贡献大量成功案例。ClickHouse也在华为云内部多个产品中投入使用，如集团IT的自助分析和行为分析业务，电商平台等，集群总规模已经达到数千节点（多套物理集群）。同时，华为云FusionInsight MRS提供ClickHouse实时OLAP服务，其基于开源版本进行了多个方面的性能优化和功能增强，主要如下：

ClickHouse增强介绍

1.可视化运维，包含安装、卸载、启停、配置、客户端、监控、告警、健康检查、日志等

2.监控覆盖CPU、内存、zookeeper、任务执行情况、数据库状态、数据副本等70+项

3.日志级别可视化配置动态生效、可视化下载、可视化检索、审计日志

3.1 日志级别可视化配置、实时动态生效：当前支持配置5种日志级别、日志文件大小、日志路径、修改后保存配置即时生效，无需重启服务

3.2 可视化日志下载：通过FI manager运维页面，可以选择日志下载、并可以选择下载的节点，以及下载的日志时间段，无需登录后台下载日志。

3.3 华为增加审计日志：社区只有一个运行日志文件，华为增加审计日志，针对DDL、安全、业务操作等内容记录审计。

3.4 支持日志在线检索：日志在线检索，可以选择节点、关键词、时间范围、日志级别、过滤条件等

4. ClickHouse Balancer路由访问负载均衡器

5. 在线扩容&可视化数据迁移，支持单表按节点、支持网络限速、支持进度查看、结果查看

6. 滚动升级&滚动重启

7.安全加固、用户认证支持kerberos、兼容社区方式

8.可视化权限管理、无需后台命令行操作、支持库表级别读写权限控制

9.多集群管理，一个Manager管理系统支持管理多个clickhouse集群，最大支持10000节点管理

10.客户端访问，通道加密、kerberos认证、兼容社区方式

10.1 命令行客户端clickhouse-client

10.2 HTTP 客户端Curl ‘http://’

10.3 JDBC 业务应用

10.4 第三方IDE/可视化界面Tabix/HouseOps/LightHouse/Dbeaver/Grafana

11. 在原生的能力上、增强remote认证、Flink对接、Loader对接、Hetu对接

11.1 支持可视化FlinkSQL实时数据写入clickhouse

11.2 历史数据通过loader可视化界面定义任务，批量导入clickhouse，数据源如oracle、mysql、gaussdb、postgreSQL、HDFS

11.3 周边对接——对接Grafana和DBeaver

12.默认采用两副本方式、自动生成集群分片拓扑、zk防过载、阈值告警

13.界面化慢SQL查询、慢SQL的阈值配置、慢SQL的杀停