TiDB集群安装维护
TIDB安装操作文档-https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup
1、环境准备（每台）
1-查看系统盘是否为ext4并自动挂载
fdisk -l | mkfs.ext4 /dev/ | mount /dev/ | vim /etc/fstab
2-关闭swap ：
一起执行 swapoff -a 和 swapon -a 命令是为了刷新 swap，将 swap 里的数据转储回内存，并清空 swap 里的数据。
echo "vm.swappiness = 0">> /etc/sysctl.conf
swapoff -a && swapon -a
sysctl -p
3-关闭防火墙：
systemctl stop firewalld.service | systemctl disable firewalld.service
4-时间需同要步，
建议使用ntp服务。（最好添加 crontab -e 定期任务 ：30 10 * * * `/sbin/ntpdate xx.xx.xx.xx）记得写入硬件时间中，重启不恢复。 hwclock -w
5-优化环境参数：使用 tuned。
1.执行
tuned-adm list 0， Current active profile: balanced
表示当前操作系统的 tuned 策略使用 balanced，建议在当前策略的基础上添加操作系统优化配置。
2.创建新的 tuned 策略
mkdir /etc/tuned/balanced-tidb-optimal/
vi /etc/tuned/balanced-tidb-optimal/tuned.conf
[main]
include=balanced#“include=balanced 表示在现有的 balanced 策略基础上添加操作系统优化配置。”
[cpu]
governor=performance
[vm]
transparent_hugepages=never
[disk]
devices_udev_regex=(ID_SERIAL=36d0946606d79f90025f3e09a0c1fc035)|(ID_SERIAL=36d0946606d79f90025f3e09a0c1f9e81)
elevator=noop
**3.应用新的tuned策略 **
tuned-adm profile balanced-tidb-optimal
** 4.检查：**
1）
cat /sys/kernel/mm/transparent_hugepage/enabled
执行以下命令验证透明大页的状态 返回值应为 always madvise [never]
2）```
cat /sys/block/sd[bc]/queue/scheduler
执行以下命令验证数据目录所在磁盘的 I/O 调度器。返回值 [noop] deadline cfq
3）
cpupower frequency-info --policy
执行以下命令查看 cpufreq 模块选用的节能策略。返回：
```analyzing CPU 0:
current policy: frequency should be within 1.20 GHz and 3.10 GHz.
The governor "performance" may decide which speed to use within this range.
4）执行以下命令修改 sysctl 参数。
echo "fs.file-max = 1000000">> /etc/sysctl.conf
echo "net.core.somaxconn = 32768">> /etc/sysctl.conf
echo "net.ipv4.tcp_tw_recycle = 0">> /etc/sysctl.conf
echo "net.ipv4.tcp_syncookies = 0">> /etc/sysctl.conf
echo "vm.overcommit_memory = 1">> /etc/sysctl.conf
sysctl -p
5）执行以下命令配置用户的 limits.conf 文件。
cat << EOF >>/etc/security/limits.conf
tidb soft nofile 1000000
tidb hard nofile 1000000
tidb soft stack 32768
tidb hard stack 32768
EOF
cat << EOF >>/etc/security/limits.conf
tidb soft nofile 1000000
tidb hard nofile 1000000
tidb soft stack 32768
tidb hard stack 32768
EOF
6）互信（可不做)
6-安装 numactl 工具：在生产环境中，因为硬件机器配置往往高于需求，为了更合理规划资源，会考虑单机多实例
部署TiDB 或者 TiKV。NUMA 绑核工具的使用，主要为了防止 CPU 资源的争抢，引发性能衰退。
1.登录所有节点安装
yum -y install numactl
==================================================================================================================
2、安装部署（安装前一定确定时间校准！）
现有环境三台机器：
172.16.80.31
172.16.80.32
172.16.80.33
1.离线安装包传至主节点解压
2.开始安装：
1）sh /date/tidb-community-server-v5.1.1-linux-amd64/local_install.sh
根据回显看 shell protile: 显示目录
2）执行环节变量 ：source / （shell protile: 显示目录）
3）查看tidb list ： tiup list tidb 查看版本号
4）按需编辑配置文件 topology.yaml，配置文件不用放到文件夹中，只是安装配置文件
5）执行 tiup cluster deploy lgtidb v5.1.1 ./topology.yaml --user root -p 输入服务器本机密码，Y确认。
#注意 lgtidb<命名集群名> v5.1.1<根据tiup list tidb查询到的版本号修改>
6）根据提示启动集群 tiup cluster start lgtidb
7）查看集群状态 tiup cluster display lgtidb
3.安装完毕：
1）查看集群pd|L|UP 领导节点 172.16.80.31:2379 密码默认为空
2）查看grafana监测页面 172.16.80.31:3000 默认账号密码为admin/admin
安装后调试--TIDB
1、检查集群状态：tiup cluster display lgtidb <集群名称> ， http://172.16.80.31:3000 查看Overview（IP为grafana部署地址)。
2、启动集群：tiup cluster start lgtidb <集群名称>。
3、查看 TiUP 管理集群情况：tiup cluster list该命令会输出当前通过 TiUP cluster 管理的所有集群信息，包括集群名称、部署用户、版本、密钥信息等。
4、扩容与缩容
扩容 编辑一个 scale-out.yaml 的文件，tiup cluster scale-out lgtidb<集群名称> scale-out.yaml
预期输出 Scaled cluster lgtidb<集群名称> out successfully 信息，表示扩容操作成功。
内容格式：
TiDB 配置文件参考：
tidb_servers:
- host: 10.0.1.5
ssh_port: 22
port: 4000
status_port: 10080
deploy_dir: /data/deploy/deploy/tidb-4000
log_dir: /data/deploy/log/tidb-4000
TiKV 配置文件参考：
tikv_servers:
- host: 10.0.1.5
ssh_port: 22
port: 20160
status_port: 20180
deploy_dir: /data/deploy/deploy/tikv-20160
data_dir: /data/deploy/data/tikv-20160
log_dir: /data/deploy/log/tikv-20160
PD 配置文件参考：
pd_servers:
- host: 10.0.1.5
ssh_port: 22
name: pd-1
client_port: 2379
peer_port: 2380
deploy_dir: /data/deploy/deploy/pd-2379
data_dir: /data/deploy/data/pd-2379
log_dir: /data/deploy/log/pd-2379```
查看当前集群的配置：
可以使用 tiup cluster edit-config lgtidb<cluster-name> 查看当前集群的配置信息，
因为其中的 global 和 server_configs参数配置默认会被 scale-out.yaml 继承，
因此也会在scale-out.yaml 中生效。
缩容 查看集群运行状态后（tiup cluster display lgtidb<cluster-name>），根据node（ID ，为IP加端口号）
关闭、移除服务。
移除PD服务： tiup cluster scale-in lgtidb --node 172.16.80.32:2379 <PD>
移除TIDB服务：tiup cluster scale-in lgtidb --node 172.16.80.32:4000 <TIDB>
移除KITV服务：tiup cluster scale-in lgtidb --node 172.16.80.32:20160 <KITV>
tidb扩容ticdc组件
1.在安装路径/opt/tidb-community-toolkit-v6.5.1-linux-amd64下创建scale-out.yaml文件
cdc_servers:
- host: 192.168.44.81
gc-ttl: 86400
data_dir: /yw-data/tidb-deploy/ticdc/cdc-8300
- host: 192.168.44.82
gc-ttl: 86400
data_dir: /yw-data/tidb-deploy/ticdc/cdc-8300
- host: 192.168.44.83
gc-ttl: 86400
data_dir: /yw-data/tidb-deploy/ticdc/cdc-8300
host为节点ip
gc-ttl为gc大小 86400为默认值
data_dir为ticdc的路径
2.执行以下命令扩容
tiup cluster scale-out yw-test scale-out.yaml --user root -p yw-test 集群名称
3.查看集群状态
tiup cluster display yw-test
终止 TiCDC 节点：tiup cluster stop -R cdc
启动 TiCDC 节点：tiup cluster start -R cdc
重启 TiCDC 节点：tiup cluster restart -R cdc
---------------------------------------------ticdc维护------------------------------------------------------------------------
使用 TiUP 在原有 TiDB 集群上移除或缩容 TiCDC 组件
推荐使用 TiUP 完成对 TiCDC 集群节点的缩容。使用类似下面的命令完成缩容:
tiup cluster scale-in <cluster-name> --node 182.168.44.81:8300
更多用例说明，请参考缩容 TiCDC 节点。
使用 TiUP 升级 TiCDC 集群
TiUP 支持升级 TiDB 集群，包括 TiCDC 组件。执行升级指令时，TiUP 会自动升级 TiCDC 组件，无需额外操作。
操作示例如下：
tiup update --self && \
tiup update --all && \
tiup cluster upgrade <cluster-name> <version> --transfer-timeout 600
注意
命令中的 <cluster-name> 需要替换为集群名字，<version> 需要替换为目标版本号，例如 v6.5.1。
升级的注意事项
升级 TiCDC 集群时，需要注意以下事项：
TiCDC v4.0.2 对 changefeed 的配置做了调整，请参阅配置文件兼容注意事项。
升级期间遇到的问题及其解决办法，请参阅使用 TiUP 升级 TiDB。
TiCDC 自 v6.3.0 起支持滚动升级，使用 TiUP 升级 TiCDC 节点期间，能够保证同步延迟稳定，不发生剧烈波动。
满足以下条件将自动启用滚动升级：
TiCDC 版本大于等于 v6.3.0。
TiUP 版本大于等于 v1.11.0。
集群中至少有两个正在运行的 TiCDC 实例。
使用 TiUP 变更 TiCDC 集群配置
本节介绍如何使用
TiUP 的 tiup cluster edit-config 命令来修改 TiCDC 的配置。在以下例子中，假设需要把 TiCDC 的 gc-ttl 从默认值 86400 修改为 172800，即 48 小时。
执行 tiup cluster edit-config 命令，注意将 <cluster-name> 替换成实际的集群名：
tiup cluster edit-config <cluster-name>
在 vi 编辑器页面，修改 server-configs 下的 cdc 配置：
server_configs:
tidb: {}
tikv: {}
pd: {}
tiflash: {}
tiflash-learner: {}
pump: {}
drainer: {}
cdc:
gc-ttl: 172800
以上把 TiCDC 的 gc-ttl 的值设置为 48 小时。
执行 tiup cluster reload -R cdc 命令重新加载配置。
使用 TiUP 终止和启动 TiCDC 节点
使用 TiUP 可以方便地终止和启动 TiCDC 节点，命令如下：
终止 TiCDC 节点：tiup cluster stop -R cdc
启动 TiCDC 节点：tiup cluster start -R cdc
重启 TiCDC 节点：tiup cluster restart -R cdc
使用加密传输 (TLS) 功能
请参阅为 TiDB 组件间通信开启加密传输。
使用 TiCDC 命令行工具来查看集群状态
执行以下命令来查看 TiCDC 集群运行状态，注意需要将 v<CLUSTER_VERSION> 替换为 TiCDC 集群版本，例如 v6.5.1：
tiup ctl:v<CLUSTER_VERSION> cdc capture list --server=http://10.0.10.25:8300
[
{
"id": "806e3a1b-0e31-477f-9dd6-f3f2c570abdd",
"is-owner": true,
"address": "127.0.0.1:8300",
"cluster-id": "default"
},
{
"id": "ea2a4203-56fe-43a6-b442-7b295f458ebc",
"is-owner": false,
"address": "127.0.0.1:8301",
"cluster-id": "default"
}
]
id：表示服务进程的 ID。
is-owner：表示该服务进程是否为 owner 节点。
address：该服务进程对外提供接口的地址。
cluster-id：该 TiCDC 的集群 ID，默认值为 default。
-------------------------------------------------------------------------------‘
-----------------------一定检查TIDB用户的密码有效期要设置为用不过期---------------------------不设置过期后无法执行tiup重启和关闭
chage -l tidb
chage -M 99999 -W 7 tidb
-----------------------一定检查TIDB迁移后的存储文件目录是否为tidb用户组---------------------------不修改无法修改reload配置文件
chown -R tidb:tidb /目标路径
-----------------------一定检查TIDB所有节点的last_tikv.toml，修改后再同步配置文件-----------------具体参考https://asktug.com/t/topic/63294
将所有节点的last_tikv.toml文件mv 为 last_tikv.toml.bak ，修改后再同步配置文件。
安装HA
HAProxy安装文档——参考https://www.cnblogs.com/chen110xi/p/6208553.html、https://blog.51cto.com/johnsz/715922
参数说明：
TARGET=linux3100
使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26
kernel 大于2.6.28的用：TARGET=linux2628
CPU=x86_64 #使用uname -r查看系统信息，如x86_64 x86_64 x86_64 GNU/Linux，此时该参数就为x86_64
PREFIX=/usr/local/haprpxy #/data/haprpxy为haprpxy安装路径
1、解压 ：tar xf 压缩包
2、安装 ：
进入解压后的文件夹，make TARGET=linux310（查询linux内核版本 rname -r 3.10.0-862.el7.x86_64） PREFIX=/data/haproxy
make install PREFIX=/data/haproxy
3、创建配置文件并创建软连接。
mkdir -p /usr/local/haproxy/conf #创建配置文件目录
mkdir -p /etc/haproxy``` #创建配置文件目录
touch /usr/local/haproxy/conf/haproxy.cfg #创建配置文件 --安装包中有配置好的，需要修改tidb的ip地址
ln -s /usr/local/haproxy/conf/haproxy.cfg /etc/haproxy/haproxy.cfg #添加配置文件软连接
cp -r /usr/local/src/haproxy-1.6.9/examples/errorfiles /usr/local/haproxy/errorfiles #拷贝错误页面
ln -s /usr/local/haproxy/errorfiles /etc/haproxy/errorfiles #添加软连接
mkdir -p /usr/local/haproxy/log #创建日志文件目录
touch /usr/local/haproxy/log/haproxy.log #创建日志文件
ln -s /usr/local/haproxy/log/haproxy.log /var/log/haproxy.log #添加软连接
4、开机启动
cp /usr/local/src/haproxy-1.6.9/examples/haproxy.init /etc/rc.d/init.d/haproxy #拷贝开机启动文件
chmod +x /etc/rc.d/init.d/haproxy #添加脚本执行权限
chkconfig haproxy on #设置开机启动
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin #添加软连接
配置文件中，stats中配置的是可视化页面访问地址和端口和后缀。http://192.169.144.167:8080/haproxy
升级TiDB版本
升级 TiUP 或更新 TiUP 离线镜像
升级 TiUP 和 TiUP Cluster
注意
先升级 TiUP 版本（建议 tiup 版本不低于 1.11.0）：
tiup update --self
tiup --version
再升级 TiUP Cluster 版本（建议 tiup cluster 版本不低于 1.11.0）：
tiup update cluster
tiup cluster --version
下载部署新版本的 TiUP 离线镜像，上传到中控机。在执行 local_install.sh 后，TiUP 会完成覆盖升级。
tar xzvf tidb-community-server-${version}-linux-amd64.tar.gz
sh tidb-community-server-${version}-linux-amd64/local_install.sh
source /home/tidb/.bash_profile
覆盖升级完成后，需将 server 和 toolkit 两个离线镜像合并，执行以下命令合并离线组件到 server 目录下。
tar xf tidb-community-toolkit-${version}-linux-amd64.tar.gz
ls -ld tidb-community-server-${version}-linux-amd64 tidb-community-toolkit-${version}-linux-amd64
cd tidb-community-server-${version}-linux-amd64/
cp -rp keys ~/.tiup/
tiup mirror merge ../tidb-community-toolkit-${version}-linux-amd64
离线镜像合并后，执行下列命令升级 Cluster 组件：
tiup update cluster
检查当前集群的健康状况
为避免升级过程中出现未定义行为或其他故障，建议在升级前对集群当前的 region 健康状态进行检查，此操作可通过 check 子命令完成。
tiup cluster check <cluster-name> --cluster
执行结束后，最后会输出 region status 检查结果。如果结果为 "All regions are healthy"，则说明当前集群中所有 region 均为健康状态，可以继续执行升级；如果结果为 "Regions are not fully healthy: m miss-peer, n pending-peer" 并提示 "Please fix unhealthy regions before other operations."，则说明当前集群中有 region 处在异常状态，应先排除相应异常状态，并再次检查结果为 "All regions are healthy" 后再继续升级。
升级 TiDB 集群
升级的方式有两种：不停机升级和停机升级。TiUP Cluster 默认的升级 TiDB 集群的方式是不停机升级，即升级过程中集群仍然可以对外提供服务。升级时会对各节点逐个迁移 leader 后再升级和重启，因此对于大规模集群需要较长时间才能完成整个升级操作。如果业务有维护窗口可供数据库停机维护，则可以使用停机升级的方式快速进行升级操作。
不停机升级
tiup cluster upgrade <cluster-name> <version>
以升级到 6.5.1 版本为例：
tiup cluster upgrade <cluster-name> v6.5.1
停机升级
在停机升级前，首先需要将整个集群关停。
tiup cluster stop <cluster-name>
之后通过 upgrade 命令添加 --offline 参数来进行停机升级，其中 <cluster-name> 为集群名，<version> 为升级的目标版本，例如 v6.5.1。
tiup cluster upgrade <cluster-name> <version> --offline
升级完成后集群不会自动启动，需要使用 start 命令来启动集群。
tiup cluster start <cluster-name>
升级后验证
执行 display 命令来查看最新的集群版本 TiDB Version：
tiup cluster display <cluster-name>
Cluster type: tidb
Cluster name: <cluster-name>
Cluster version: v6.5.1
