【ClickHouse 特点&安装启动命令 01】

概念：

ClickHouse是开源的列式存储数据库(DBMS)，使用C++语言编写，主要用于在线分析处理查询(OLAP)，能够使用SQL查询实时生成分析数据报告

OLAP这样的适合做一些一次插入多次查询这样的操作(适合查询)，对于新增更新删除就不太擅长了，所以ClickHouse是一种分析性数据库

HBase也是列式存储数据库

mysql、oracle关系型数据库，适合做CROD这样的增删改查的操作  -->行式存储。

一、Clickhouse特点：

1、列式存储

如何理解：举例：需要存储下面的数据

 1）采用行式存储时，数据在磁盘上的组织结构为：

 2）采用列式存储时，数据在磁盘上的组织结构为：

 查询：select xx属性 from 表，例如：查所有人的id属性，列式存储就只需吧id这一列拿出来就可以了，而行式存储就需要不停的查找或者全表扫描才能找到所有人的id，而遍历的很多数据其实是不需要的

新增、更新、删除：insert （id,name,age）from 表，新增和更新时，行式就可以直接把一行的数据插入或者更新即可，而列式只能先插入id，在插入name，最后插入age

所以像ClickHouse、Hbase这样的列式存储数据库，适合一次插入多次查询，而新增、更新、删除就不太适合了，相反像mysql、oracle这样的关系型数据库即行式存储，新增、更新、删除就更加的适合，而查询就相对不太适合

3）列式存储的好处：

• 对于列的聚合，计数，求和等统计操作优于行式存储
• 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重
• 由于数据压缩比更好，一方面节省了磁盘空间，另一方面对于cache也有了更大的发挥空间

2、DBMS的功能

几乎覆盖了标准SQL的大部分语法，包括DDL（建表语句）、DML（增删改查）以及配套的各种函数，用户管理及权限管理，数据的备份与恢复。

3、多样化引擎

ClichHouse和MySQL类似，把表级的额存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树（常用->Merge  Tree）、日志、接口、其他 四种大类20多种引擎。

表存储引擎：如mysql的存储引擎innodb（提供事务-->默认、且常用）、mariadb（不提供事务）

4、高吞吐写入能力

ClickHouse采用类LSM Tree的结构，数据写入后定期在后台Compaction(合并)。-->插入相同的数据时会通过version 号控制，只有在合并的时候采取进行去重。通过类LSM Tree的结构，ClickHouse在数据导入时全部是顺序append(追加)写，写入后的数据段不可更改，在后台Compaction时也是多个段merge sort后顺序写回磁盘。顺序写的特点，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能

　　官方公开benchmark测试显示能够达到50MB-200MB/s的写入吞吐能力，按照每行100byte估算，大约相当于50w-200w/s的写入速度。

5、数据分区和线程级并行

ClickHouse将数据划分为多个partition(分区)，每个partition在进一步划分为多个index granularity（索引粒度），然后通过多个cpu核心分别处理 其中的一部分来实现并行数据处理。在这种设计下，单条Query(查询)就能利用整机所有CPU。--->单条查询就会调用所有cpu那么多条查询占用cpu就很多， 所以ClickHouse一个 瓶颈就是很吃CPU，不利于同时并发多条查询

所以对于高QPS的查询业务ClickHouse并不是强项。

• QPS: query per second 每秒查询次数
• TPS：Transaction per second 每秒处理事务次数

由此：ClickHouse不适合存储初始数据，而适合处理过的包含大量字段的大宽表

ClickHouse像很多OLAP数据库一样，单表查询速度优于关联查询 -->所以在架构设计时尽量避免join这样的关联存储数据

二、ClickHouse安装

 1、准备工作

1.1、确定防火墙处于关闭状态

//查看防火墙状态 -->running或者not running
firewall-cmd --state

//启动防火墙
systemctl start firewalld

//停止防火墙
systemctl stop firewalld

//重启防火墙
systemctl restart firewalld

-- 查看系统limit限制

-a：显示目前资源限制的设定；
-c <core文件上限>：设定core文件的最大值，单位为区块；
-d <数据节区大小>：程序数据节区的最大值，单位为KB；
-f <文件大小>：shell所能建立的最大文件，单位为区块；
-H：设定资源的硬性限制，也就是管理员所设下的限制；
-m <内存大小>：指定可使用内存的上限，单位为KB；
-n <文件数目>：指定同一时间最多可开启的文件数；
-p <缓冲区大小>：指定管道缓冲区的大小，单位512字节；
-s <堆叠大小>：指定堆叠的上限，单位为KB；
-S：设定资源的弹性限制；
-t <CPU时间>：指定CPU使用时间的上限，单位为秒；
-u <程序数目>：用户最多可开启的程序数目；
-v <虚拟内存大小>：指定可使用的虚拟内存上限，单位为KB。

参考博客：https://www.cnblogs.com/shishibuwan/p/17197906.html

1.2、centos取消打开文件数限制和最大进程数

1）在hadoop100的 /etc/security/limits.conf文件的末尾加入内容

[root@localhost ~]# sudo vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

/*
解释：
第一列：表示用户和用户主，*是所有用户所有组，如果想单独给用户用户组给权限：  test@cytest -->test是用户  cytest是用户组，之间用@隔开即可
第二列：soft 软限制（当前生效），hard 硬限制（最大的上限），所以doft<=hard
第三列：：nofile 文件数，nproc 进程数

一般都可以像上面一样，配置成一样的
*/

 2）在hadoop100的/etc/security/limits.d/20-nproc.conf文件的末尾加入以下内容  -->系统的原因只需要limits.conf可以会被覆盖，所以也需要修改此文件 -->20-nproc.conf这个文件如果没有就新建

[root@localhost ~]# sudo vi /etc/security/limits.d/20-nproc.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

修改后重启就可以生效 -->  查看是否生效：ulimit -a  看修改的数字是否变了

1.3 安装依赖

1）输入以下2条命令安装

sudo yum install -y libtool

 sudo yum install -y *unixODBC*

注意：在hadhoop101、hadoop102上同样需要执行

1.4 Centos取消SELINUX

1) 修改/etc/selinux/config 中的 SELINUX=disabled

[root@hadoop102 ~]$ sudo vim /etc/selinux/config
SELINUX=disabled

注意：别改错了，然后101、1022两台机器也需要修改，重启三台机器

2、安装启动-->链接clickhouse

• 启动：sudo systemctl start clickhouse-server
• 重启：sudo systemctl restart clickhouse-server
• 查看状态：systemctl status clickhouse-server
• 使用client链接server：clickhouse-client --host localhost --user default --port 9000 --password 123456

//修改密码

//1、修改users.xml配置文件
sudo vi /etc/clickhouse-server/users.xml
//2、找到 <default> 用户部分，然后设置新的明文密码。例如，如果你想将密码设置为 new_password，则修改为：

<default>
    <password>123456</password>
</default>

//3、删除/etc/clickhouse-server/users.d路径下的default-password.xml  -->只有删除了才能识别新改的密码123456
//4、关闭防火墙
systemctl stop firewalld
//5、重启clickhouse
sudo systemctl restart clickhouse-server
//6、查看clickhouse是否启动
systemctl status clickhouse-server
//7、链接
clickhouse-client --host localhost --user default --port 9000 --password 123456