Gitlab+DRBD 高可用方案【转】
Gitlab+DRBD 高可用方案
- 启动两个gitlab服务，数据通过分布式存储保持一致。
- 更改主服务中的仓库和pg数据库的目录位置。
- 手动切换
Gitlab配置
主机规划
采用两台虚拟机完成。
192.168.1.104 gitlab-service-01 primary
192.168.1.105 gitlab-service-02 secondary
安装Gitlab
直接在清华大学镜像站下载：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/
rpm -ivh gitlab-ce*.rpm
vim /etc/gitlab/gitlab.rb # extend_url
gitlab-cli reconfigure
DRBD配置
简介
DRBD（Distributed ReplicatedBlock Device）是一种基于软件的，无共享，分布式块设备复制的存储解决方案，在服务器之间的对块设备（硬盘，分区，逻辑卷等）进行镜像。
DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群，其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像，与心跳连接结合使用，可以把它看作是一种网络RAID，它允许用户在远程机器上建立一个本地块设备的实时镜像。
安装
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
yum -y install drbd84
yum -y install kmod-drbd84
setenforce 0
modprobe drbd
准备磁盘（相同大小）
分区格式化，不需要挂载。
[root@dockerserver ~]# fdisk /dev/sdb
欢迎使用 fdisk (util-linux 2.23.2)。
更改将停留在内存中，直到您决定将更改写入磁盘。
使用写入命令前请三思。
Device does not contain a recognized partition table
使用磁盘标识符 0x5f6a10b0 创建新的 DOS 磁盘标签。
命令(输入 m 获取帮助)：n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
分区号 (1-4，默认 1)：
起始 扇区 (2048-41943039，默认为 2048)：
将使用默认值 2048
Last 扇区, +扇区 or +size{K,M,G} (2048-41943039，默认为 41943039)：
将使用默认值 41943039
分区 1 已设置为 Linux 类型，大小设为 20 GiB
命令(输入 m 获取帮助)：wq
The partition table has been altered!
Calling ioctl() to re-read partition table.
正在同步磁盘。
#加载分区表
partprobe /dev/sdb
lsblk
配置文件
- drbd全局配置文件
global {
usage-count no;
}
common {
protocol C;
startup {
wfc-timeout 15;
degr-wfc-timeout 15;
outdated-wfc-timeout 15;
}
disk {
on-io-error detach;
fencing resource-only;
}
net {
cram-hmac-alg sha1;
shared-secret "123456";
}
syncer {
rate 100M;
}
}
- 资源文件
resource gitlab {
meta-disk internal;
device /dev/drbd1; #device指定的參数最后必须有一个数字，用于global的minor-count，
#否则会报错。device指定drbd应用层设备。
on gitlab-service-01 { #注意：drbd配置文件里。机器名大写和小写敏感。
address 192.168.1.104:7779;
disk /dev/sdb1; #新建的分区磁盘
}
on gitlab-service-02 {
address 192.168.1.105:7779;
disk /dev/sdb1;
}
}
创建资源
[root@gitlab-service-01 drbd.d]# drbdadm create-md gitlab
You want me to create a v08 style flexible-size internal meta data block.
There appears to be a v09 flexible-size internal meta data block
already in place on /dev/sdb1 at byte offset 21473783808
Valid v09 meta-data found, convert to v08?
[need to type 'yes' to confirm] yes
md_offset 21473783808
al_offset 21473751040
bm_offset 21473095680
Found xfs filesystem
20969820 kB data area apparently used
20969820 kB left usable by current configuration
Even though it looks like this would place the new meta data into
unused space, you still need to confirm, as this is only a guess.
Do you want to proceed?
[need to type 'yes' to confirm] yes
Writing meta data...
New drbd meta data block successfully created.
[root@dockerserver ~]# drbdadm create-md gitlab
You want me to create a v08 style flexible-size internal meta data block.
There appears to be a v09 flexible-size internal meta data block
already in place on /dev/sdb1 at byte offset 21473783808
Valid v09 meta-data found, convert to v08?
[need to type 'yes' to confirm] yes
Writing meta data...
New drbd meta data block successfully created.
success
启动DRBD服务
systemctl start drbd
systemctl status drbd
systemctl enable drbd
[root@gitlab-service-01 drbd.d]# cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2018-11-03 01:26:55
1: cs:StandAlone ro:Secondary/Unknown ds:Inconsistent/DUnknown r----s
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20969820
[root@gitlab-service-02 ~]# cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2018-11-03 01:26:55
1: cs:Connected ro:Secondary/Primary ds:Diskless/UpToDate C r-----
ns:2071 nr:3216 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
验证主备
gitlab-service-01 主节点创建测试数据
drbdadm primary gitlab
mkfs.xfs /dev/drbd1 -f
mkdir /data
mount /dev/drbd1 /data
echo "123" > /data/123.txt
主节点切换：先将01设置为备节点，再将02设置为主节点。
01节点
umount /data
drbdadm secondary gitlab
02节点
drbdadm primary gitlab
mkdir /data
mount /dev/drbd1 /data
cat /data/123.txt
Gitlab高可用配置
准备工作
- 创建项目数据: 2个
- 创建用户数据: 2个
- 创建apitoken: 1个
更改gitlab的默认仓库目录（指向drbd）
git_data_dirs({
"default" => {
"path" => "/data/git-data"
}
})
更改gitlab默认pg数据库数据目录（指向drbd）
postgresql['data_dir'] = "/data/postgresql/data"
postgresql['dir'] = "/data/postgresql"
postgresql['home'] = "/data/postgresql"
将drbd挂载到gitlab数据目录
gitlab默认的数据目录在 /var/opt/gitlab
#停止gitlab服务
gitlab-ctl stop
#挂载drbd1
mount /dev/drbd1 /data
#同步历史数据
rsync -av /var/opt/gitlab/git-data /data/git-data
rsync -av /var/opt/gitlab/postgresql /data/postgresql
#删除原文件
rm -fr /var/opt/gitlab/*
#启动gitlab
gitlab-ctl start
主备切换
按照上面配置同样修改gitlab备服务的配置（repos、pg）
#将01节点切换为从服务器
umount /data
drbdadm secondary gitlab
#将02节点切换为主服务器
mkdir /data
mount /dev/drbd1 /data
gitlab-ctl start
参考文档
https://docs.gitlab.com/ce/administration/highavailability/README.html
https://blog.csdn.net/byg184244735/article/details/88078409
https://segmentfault.com/a/1190000019445040
https://q.cnblogs.com/q/70462/
https://blog.csdn.net/qq37595946/article/details/86534961
https://blog.csdn.net/liuli905306022/article/details/89512896
转自
Gitlab+Drbd高可用方案（主备模式） - 云+社区 - 腾讯云
https://cloud.tencent.com/developer/article/1523198
参考
GItlab的高可用方案 - 跑得比蜗牛还快 - 博客园
https://www.cnblogs.com/tangqiwen/p/8342918.html
版本管理工具Git（三）Gitlab高可用 - 昀溪 - 博客园
https://www.cnblogs.com/rexcheny/p/9464292.html
gitlab高可用架构部署文档-11202791-51CTO博客
https://blog.51cto.com/11212791/2467235
