clickhouse安装部署以及版本选取
1. 系统要求
ClickHouse 可以在任何具有 x86_64、AArch64 或 PowerPC64LE CPU 架构的 Linux、FreeBSD 或 Mac OS X 上运行。官方预构建的二进制文件通常针对 x86_64 进行编译并利用 SSE 4.2 指令集。如下命令检查当前 CPU 是否支持 SSE 4.2:
grep -q sse4_2 proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
如果支持会输出 SSE 4.2 supported 信息。
要在不支持 SSE 4.2 或不具有 AArch64、PowerPC64LE 架构的处理器上运行 ClickHouse,需要编译源代码构建 ClickHouse。
版本选择:版本命名规则 Year.Major.Minor.patch
1)Year.Major.1.patch 1 表示测试版,大于1表示稳定版本。
2)有重大的更新和新特性主要在Minor为2的版本。
3)体验最新的测试功能 可以选择prestable或者testing版本。
4)对于企业来说可以选择LTS的稳定版本,差不多6个月发布一个LTS版本,一年发布两个。维护的周期要比stable版本长。
2. 安装
2.1 使用 RPM 包
我们的系统是 CentOS,所以在这使用 RPM 包方式安装 ClickHouse
对于 CentOS、RedHat 和所有其他基于 rpm 的 Linux 发行版,建议使用官方预编译的 rpm 包。首先,您需要添加官方存储库:
sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64
然后运行如下命令来安装软件包:
sudo yum install clickhouse-server clickhouse-client |
我们还可以从这里手动下载和安装软件包。
除此之外,还可以通过使用DEB包、Tgz包以及Docker镜像的方式安装。下面还会简单介绍如何使用DEB包、Tgz包进行安装。
2.2 使用DEB包
Debian 或 Ubuntu 系统建议使用官方预编译的 deb 包进行安装。运行这些命令来安装软件包:
sudo apt-get install apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4
echo "deb https://repo.clickhouse.tech/deb/stable/ main/" | sudo tee \
etc/apt/sources.list.d/clickhouse.list
sudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client
sudo service clickhouse-server start
clickhouse-client
如果您想使用最新版本,请将 stable 替换为 testing(适合测试环境)。
我们还可以从这里手动下载和安装软件包。
2.3 使用Tgz包
对于无法安装 deb 或 rpm 软件包的所有 Linux 发行版,建议使用官方预编译的 tgz 包。可以使用 curl 或 wget 从存储仓库下载所需的版本。最新版本示例:
export LATEST_VERSION=`curl https://api.github.com/repos/ClickHouse/ClickHouse/tags 2>/dev/null | grep -Eo '[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+' | head -n 1`
curl -O https://repo.clickhouse.tech/tgz/clickhouse-common-static-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-common-static-dbg-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-server-$LATEST_VERSION.tgz
curl -O https://repo.clickhouse.tech/tgz/clickhouse-client-$LATEST_VERSION.tgz
tar -xzvf clickhouse-common-static-$LATEST_VERSION.tgz
sudo clickhouse-common-static-$LATEST_VERSION/install/doinst.sh
tar -xzvf clickhouse-common-static-dbg-$LATEST_VERSION.tgz
sudo clickhouse-common-static-dbg-$LATEST_VERSION/install/doinst.sh
tar -xzvf clickhouse-server-$LATEST_VERSION.tgz
sudo clickhouse-server-$LATEST_VERSION/install/doinst.sh
sudo etc/init.d/clickhouse-server start
tar -xzvf clickhouse-client-$LATEST_VERSION.tgz
sudo clickhouse-client-$LATEST_VERSION/install/doinst.sh
2.4 修改data路径
为便于统一控制相关数据文件,建议使用自定义路径替代官方指定路径。
推荐更改以下路径
<path>/data/clickhouse/</path>#数据的目录路径。 <tmp_path>/data/clickhouse/tmp/</tmp_path>#用于处理大型查询的临时数据的路径。 <user_files_path>/data/clickhouse/user_files/</user_files_path> #包含用户文件的目录,在表函数file()中使用。 <access_control_path>/data/clickhouse/access/</access_control_path>#配置权限管理数据的存储位置 [与users.xml 中的 <access_management>1</access_management> 一同使用,控制开启sql管理用户] <format_schema_path>/data/clickhouse/format_schemas/</format_schema_path> #包含输入格式文件(例如CapnProto格式的方案)的目录路径
针对access理解可查看:SQL-driven来管理用户权限。
3. 启动
有两种方式可以启动 ClickHouse,一种使用 service 方式启动,一种使用 systemctl 方式启动。如下使用 service 方式以守护进程方式启动:
sudo service clickhouse-server start |
如果您没有 service 命令,可以运行 sudo etc/init.d/clickhouse-server start 命令。
若 service 启动过程报 Init script is already running 错误,运行 clickhouse-client 命令报 Connection refused 错误,则使用 systemctl 方式启动:
sudo systemctl start clickhouse-server |
可以使用 sudo systemctl stop clickhouse-server 命令停止服务。
通过上图我们可以看出在 var/log/clickhouse-server/ 目录下查看日志。
启动过程中入出现以下异常
Cannot obtain modification time for key file /etc/clickhouse-server/server.key, skipping update. errno: 2, strerror: No such file or directory
CertificateReloader: Poco::Exception. Code: 1000, e.code() = 0, SSL context exception: Error opening Diffie-Hellman parameters file /etc/clickhouse-server/dhparam.pem: error:02000002:system library:OPENSSL_internal:No such file or directory
则需要生成使用证书,避免后续启动报错。
#生成证书
openssl req -subj "/CN=localhost" -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout /etc/clickhouse-server/server.key -out /etc/clickhouse-server/server.crt
#pem证书,执行此命令需要4分钟才能执行完成
openssl dhparam -out /etc/clickhouse-server/dhparam.pem 4096
#如果运行时间过长可以采用随机数参数生成方式 可有效缩短时间
openssl dhparam -rand rand.seed -out /etc/clickhouse-server/dhparam.pem 4096
此外,我们还可以从控制台手动启动服务器:
sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml
如果配置文件在当前目录下,则不需要指定 –config-file 参数。默认情况下,使用 ./config.xml。ClickHouse 支持访问限制设置,可以修改 users.xml 文件。默认情况下,允许默认用户从任何地方访问,无需密码。
注意:如果使用普通用户安装启动,,需要sudo权限,注意配置中的自定义数据文件相关路径。
chmod 777 -R /home/ad/clickhouse # 读写执行 都需要 最好上级 #如果仍有权限错误,赋予上级755 # cd /home # sudo chmod 755 -R ad/ cd /etc sudo chown -R ad:ad clickhouse-server sudo chmod 755 -R clickhouse-server sudo chown -R ad /var/log/clickhouse-server/ sudo -u ad clickhouse-server -C /etc/clickhouse-server/config.xml --daemon
4. 运行
启动服务器后,我们可以使用命令行客户端连接到它:
clickhouse-client |
默认情况下,表示用户默认连接到 localhost:9000,无需密码。还可用于使用 –host 参数连接到远程服务器。
集群方式需要注意修改/etc/clickhouse-server/config.xml,简单集群搭建不需要zookeeper,自身即可解决,注意config.xml各个服务器需要一致。创建用户以及调整用户权限,通过新增修改users.xml文件完成。
注意配置listen_host:
# <!--<listen_host>用于限制来源主机的请求--> <!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept connections both with IPv4 and IPv6 from everywhere. --> <!-- <listen_host>::</listen_host> --> <!-- Same for hosts with disabled ipv6: --> <!-- <listen_host>0.0.0.0</listen_host> --> #(1)允许IP4和IP6源主机远程访问 <listen_host>::</listen_host> #(2)仅允许IP4主机远程访问 <listen_host>0.0.0.0</listen_host> #(3)仅允许本地访问 <!-- Default values - try listen localhost on ipv4 and ipv6: --> <listen_host>::1</listen_host> <listen_host>127.0.0.1</listen_host>
由于ClickHouse安装后,默认client连接端口是9000,这个端口跟CDH的cloudera manager agent的默认端口相同。且ClickHouse默认9000端口是绑定在127.0.0.1上的,无法从其他机器连接ClickHouse。
解决方式:
1)仅允许IP4主机远程访问
<listen_host>0.0.0.0</listen_host> #这样远程都可以访问了,但是禁用了IPV6
2) 修改端口和绑定地址
找到9000的配置项,将默认值9000改成其他,比如我改成9020
<tcp_port>9020</tcp_port> <listen_host>::</listen_host> #更改默认client端口后,需要指定port参数指定端口登录。 clickhouse-client --port 9020
5. 卸载
#1、查看已安装包 rpm -qa | grep clickhouse #2、卸载clickhouse相关软件 #1)可以yum卸载 sudo yum remove -y clickhouse-client.noarch sudo yum remove -y clickhouse-common-static.x86_64 sudo yum remove -y clickhouse-server.noarch #2)或rpm 卸载 rpm -e clickhouse-client-20.5.4.40-2.noarch --nodeps rpm -e clickhouse-server-20.5.4.40-2.noarch --nodeps rpm -e clickhouse-common-static-20.5.4.40-2.x86_64 --nodeps #3、删除相关的目录和数据 #数据目录 rm -rf /var/lib/clickhouse #删除集群配置文件 rm -rf /etc/metrika.xml #删除配置文件 rm -rf /etc/clickhouse-* #删除日志文件 rm -rf /var/log/clickhouse-server #4、全局查找clickhouse文件和目录,如果存在,则全部删除 find / -name clickhouse