ClickHouse初始+安装

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。

 

一、特点

1.列式存储

对于列的聚合，计数，求和等统计操作优于行式存储

由于某一列的数据类型都是相同的，针对数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。

由于数据压缩比较好，一方面节省了磁盘空间，另一方面对cache也有很大的发挥空间

 

2.DBMS的功能

几乎覆盖了标准SQL的大部分语法，包括DDL和DML，以及配套的各种函数，用户管理及权限管理，数据的备份与恢复

 

3.多样化引擎

clickhouse和MySQL类似，把表级的存储引擎插件化，根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其它四大类20多种引擎

 

4.高吞吐写入能力

clickhouse采用类LSM Tree的结构，数据写入后定期在后台compaction。通过类LSM Tree的结构，clickhouse在数据导入时全部是顺序append写，写入后数据段不可更改，在后台compaction时也是多个段merge sort后顺序写会磁盘。顺序写的特性，充分利用了磁盘的吞吐能力，即便在HDD上也有着优异的写入性能。

官方公开benchmark测试显示能够达到50MB-200MB/s的写入吞吐能力，按照每行100byte估算，大约相当于50w-200w条/s的写入速度

 

5.数据分区与线程级并行

clickhouse将数据划分为多个partition，每个partition再进一步划分为多个index granularity（索引粒度），然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下，单条query就能利用整机所有CPU。极致的并行处理能力，极大的降低了查询延时。

所以，clickhouse即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多CPU，就不利于同时并发多条查询。所以对高QPS的查询业务，clickhouse并不是强项。

 

适合存储大宽表，基于大宽表的聚合操作

 

6.对比

单表查询

 

关联查询（尽量避免join）

关联时会将右表加载到内存，和左表比对

 

结论：clickhouse像很多OLAP数据库一样，单表查询速度优于关联查询，而且clickhouse的两者差距更为明显。

 

 

二、安装部署

 

1.环境准备

 

Centos操作：

查看系统限制

ulimit -a
MacBook-Pro:bin FengZhen$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
file size               (blocks, -f) unlimited
max locked memory       (kbytes, -l) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) 2560
pipe size            (512 bytes, -p) 1
stack size              (kbytes, -s) 8176
cpu time               (seconds, -t) unlimited
max user processes              (-u) 5333
virtual memory          (kbytes, -v) unlimited

 

修改资源限制

vim /etc/security/limits.conf
fengzhen@group soft noffile 65536
fengzhen@group hard noffile 65536
fengzhen@group soft nproc 131072
fengzhen@group hard nproc 131072 

第一列标记用户，如果为所有用户标记，直接*

第二列soft、hard，强软限制，一般软<=硬，标记-则表示两者一起配置，值相同

第三列 noffile：可打开文件数    nproc：进程数

第四列具体数值

 

vim /etc/security/limits.d/20-nproc.conf

将上边四行也放入这个里边

上述配置重新登录即可

 

安装依赖

yum install -y libtool
yum install -y *unixODBC*

 

centos取消selinux

vim /etc/selinux/config
SELINUX=disabled

默认是enforcing开启状态

查看：getenforce

临时生效：setenforce 0(关闭) 1（开启）

 

 

*MacOS操作：

vim /Library/LaunchDaemons/limit.maxfiles.plist
 
#添加以下内容
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
        "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
  <dict>
    <key>Label</key>
    <string>limit.maxfiles</string>
    <key>ProgramArguments</key>
    <array>
      <string>launchctl</string>
      <string>limit</string>
      <string>maxfiles</string>
      <string>524288</string>
      <string>524288</string>
    </array>
    <key>RunAtLoad</key>
    <true/>
    <key>ServiceIPC</key>
    <false/>
  </dict>
</plist>
 
# 然后执行以下命令
sudo chown root:wheel /Library/LaunchDaemons/limit.maxfiles.plist
 
# 然后重启，通过 ulimit -n看是否生效
ulimit -n

 

2.安装

A.Mac【启动失败】

wget 'https://builds.clickhouse.com/master/macos-aarch64/clickhouse'

chmod a+x ./clickhouse

./clickhouse

 

A.Mac + docker【启动失败】

拉取服务端

docker pull yandex/clickhouse-server

拉取客户端

docker pull yandex/clickhouse-client

 

启动容器

docker run -d --name ck-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 --volume=/Users/FengZhen/Desktop/Hadoop/clickhouse/some_clickhouse_database:/var/lib/clickhouse -v /Users/FengZhen/Desktop/Hadoop/clickhouse/etc/:/etc/clickhouse-server/ yandex/clickhouse-server

 

修改/etc/config.xml

注释去掉<listen_host>::</listen_host>，表示不做IP限制

重启

 

报错

MacBook-Pro:clickhouse FengZhen$ docker logs -f -t --since="2018-03-31" --tail=100 ck-server
2022-03-31T08:38:29.202014966Z Configuration file '/etc/clickhouse-server/config.xml' isn't readable by user with id '101'

 

查看服务 $ docker ps

进入到这个容器中 $ docker exec -it ck-server /bin/bash

然后执行 $ clickhouse-client

进入容器成功，再执行 :) show databases;  即可查看数据库

 

测试

CREATE TABLE default.user_table(id UInt16, name String, age UInt16 ) ENGINE = TinyLog();

 

B.centos-自动

sudo yum install -y yum-utils

sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo

sudo yum install -y clickhouse-server clickhouse-client

 

sudo /etc/init.d/clickhouse-server start

clickhouse-client # or "clickhouse-client --password" if you set up a password.

 

C.centos-手动【推荐】

下载安装包

https://packages.clickhouse.com/rpm/stable/
 
clickhouse-client-22.3.2.2-2.noarch.rpm
clickhouse-common-static-22.3.2.2-2.x86_64.rpm
clickhouse-common-static-dbg-22.3.2.2-2.x86_64.rpm
clickhouse-server-22.3.2.2-2.noarch.rpm

 

20.5版本：final支持多线程

20.6.3版本：支持explain

20.8：新引擎：实时同步MySQL

 

clickhouse目录下：

rpm -ivh *.rpm

会提示输入密码，用户：default

1234qwer

 

确认是否安装

rpm -qa|grep clickhouse
[root@superset-BI rpm]# rpm -qa|grep clickhouse
clickhouse-client-22.3.2.2-2.noarch
clickhouse-common-static-22.3.2.2-2.x86_64
clickhouse-server-22.3.2.2-2.noarch
clickhouse-common-static-dbg-22.3.2.2-2.x86_64

 

默认路径

conf -> /etc/clickhouse-server /etc/clickhouse-client 
bin -> /usr/bin/
lib -> /val/lib/clickhouse
log -> /var/log/clickhouse

 

查看/etc/clickhouse-server目录下文件

cd /etc/clickhouse-server
[root@superset-BI clickhouse-server]# ll
总用量 80
dr-x------ 2 clickhouse clickhouse  4096 3月  31 18:19 config.d
-r-------- 1 clickhouse clickhouse 61569 3月  18 01:01 config.xml
dr-x------ 2 clickhouse clickhouse  4096 3月  31 18:19 users.d
-r-------- 1 clickhouse clickhouse  6248 3月  18 01:01 users.xml
 
config.xml    服务端配置
users.xml    参数配置（CPU、最大内存使用量）

 

上述两个文件为只读，添加可编辑权限

chmod +w config.xml 
chmod +w users.xml 

 

取消IP限制

vim config.xml
不对IP做限制
<listen_host>::</listen_host>

 

数据目录，可以自己修改，不建议改

<path>/val/lib/clickhouse</path>

 

日志

<level>trace</level>
<log>/var/log/clickhouse-server/clickhouse-server.log</log>
<errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</lerrorlogog>

 

 

常用命令

sudo clickhouse start
sudo clickhouse status
sudo clickhouse stop
sudo clickhouse restart

 

启动

[root@superset-BI clickhouse-server]# sudo clickhouse start
 chown -R clickhouse: '/var/run/clickhouse-server/'
Will run su -s /bin/sh 'clickhouse' -c '/usr/bin/clickhouse-server --config-file /etc/clickhouse-server/config.xml --pid-file /var/run/clickhouse-server/clickhouse-server.pid --daemon'
Waiting for server to start
Waiting for server to start
Server started
 
[root@superset-BI clickhouse-server]# sudo clickhouse status
/var/run/clickhouse-server/clickhouse-server.pid file exists and contains pid = 19428.
The process with pid = 19428 is running.

 

启动成功后使用client连接（端口默认9000）

clickhouse-client

    -m：支持换行

    -h：主机名

    -p：端口

    --password：如果配置了密码

    --query：可直接写SQL

   

clickhouse-client -m --password
[root@superset-BI ~]# clickhouse-client -m --password
ClickHouse client version 22.3.2.1.
Password for user (default):
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 22.3.2 revision 54455.
superset-BI :)

建表测试

superset-BI :) CREATE TABLE default.user_table(id UInt16, name String, age UInt16 ) ENGINE = TinyLog();
CREATE TABLE default.user_table
(
    `id` UInt16,
    `name` String,
    `age` UInt16
)
ENGINE = TinyLog
Query id: 42ed57fd-76a1-4996-be45-d47804b1c013
Ok.
0 rows in set. Elapsed: 0.011 sec. 
superset-BI :) show tables in default;
SHOW TABLES FROM default
Query id: 74e494da-566e-46ae-a32d-4cfca95e363d
┌─name───────┐
│ user_table │
└────────────┘
1 rows in set. Elapsed: 0.002 sec. 

成功。