我搭建了一套企业级私有Git服务,抗住了每天上万次攻击!
写在前面
事情是这样的,今年疫情期间,我在某云购买了一套服务器,做什么呢?不是用来部署项目,也不是用来搭建网站,而是用来做代码备份和管理。没错,都是我个人的代码,也许你会说,你个人能有多少代码啊?确实不多,备份的都是我在GitHub上开源的个人作品。为何做这个备份管理?原因就是谁TM能保证某国哪天不会限制我们使用GitHub呢?
小伙伴们可以关注【冰河技术】微信公众号,回复【Git】领取Git安装包。
部署私有Git服务
说干就干,下单,付款一气呵成,接下来就是搭建企业级的私有Git服务。搭建完成后,没想到搭建完成后的几天,就被攻击了。额,MD这个云不安全啊,那换一个云服务?对于我这个有一定渗透经验的人来说,还真不想换,我就想看看能不能抵御这些攻击。于是乎,我仔细分析了这些攻击的套路和规律,一步步完善了自己搭建的私有Git服务。目前,每天已经能够抗住上万次攻击了!
在正式介绍如何搭建企业级私有Git服务之前,我们先来看看Git的四种通信协议。
Git四种通信协议
简单来说Git的四种通信协议分别为:Local、SSH、HTTP、Git,如下所示。
Local(本地协议)
基于本地文件系统或共享(NFS)文件系统进行访问,
优点 : 简单,直接使用了现有的文件权限和网络访问权限,小团队小项目建立一个这样的版本管理系统是非常轻松的一件事。
缺点: 这种协议缺陷就是本身共享文件系统的局限,只能在局域网,而且速度也慢。
适应场景: 小团队,小项目临时搭建版本服务。
本地协议使用方式
(1)从本地 f/git/atals 目录克隆项目
git clone /f/git/atals/
即使是 bare仓库也可以正常下载
git clone /f/git/atals.git
(2)基于file 协议克隆本地项目
git clone file:///f/git/atals/
如果在 URL 开头明确的指定 file://,那么 Git 的行为会略有不同。 如果仅是指定路径,Git 会尝试使用硬链接(hard link)或直接复制所需要的文件。 如果指定 file://,Git 会触发平时用于网路传输资料的进程,传输过来的是打包好的文件,更节约硬盘空间。
SSH 协议
Git支持支持利用ssh 协议进行通信,这是绝大部分linux、uninx系统都支持的,所以利用该协议架设GIT版本服务是非常方便的。
优点: 首先SSH 架设相对简单、其次通过 SSH 访问是安全的、另外SSH 协议很高效,在传输前也会尽量压缩数据。
缺点: 权限体系不灵活,必须提供操作系统的帐户密码,哪怕是只需要读取版本。
适应场景: 小团队、小项目、临时项目
SSH协议使用方式
这里我们把Git服务先安装到Linux系统上,然后才能使用SSH协议跟Git服务进行通信。
linux 安装git服务
(1)安装依赖环境
yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
(2)下载并解压源码
wget https://github.com/git/git/archive/v2.3.0.zip
如果大家觉得GitHub网速太慢的话,可以关注【冰河技术】微信公众号,回复【Git】领取Git安装包。
unzip v2.3.0.zip
cd git-2.3.0
(3)编译 安装(如果没有权限就加上sudo)
make prefix=/usr/local/git all
make prefix=/usr/local/git install
(4)添加环境变量
vim /etc/profile
export PATH=/usr/local/git/bin:$PATH
source /etc/profile
如果成功显示版本号表示添加成功
git --version
git version 2.3.0
(5)创建一个祼项目
git --bare init binghe.git
(6)本地基于远程克隆仓库
git clone root@192.168.0.147:/data/git-repository/binghe.git
cd binghe/
(7)添加文件
echo "this is binghe" >> README.MD
(8)本地添加、提交、并推送至远程
git add -A; git commit -am 'first commit'; git push;
可能的错误:
git-upload-pack: command not found
原因是 ssh 协议下只能访问/usr/bin 下的目录,解决办法如下:
ln -s /usr/local/git/bin/git-upload-pack /usr/bin/git-upload-pack
ln -s /usr/local/git/bin/git-receive-pack /usr/bin/git-receive-pac\k
HTTP协议
Git http 协议实现是依懒 WEB容器(apache、nginx)及cgi 组件进行通信交互,并利用WEB容器本身权限体系进行授权验证。在 Git 1.6.6 前只支持http Dumb协议,该协议只能下载不能提交,通常会配合ssh 协议一起使用,ssh 分配提交帐号,http dumb提供只读帐号。1.6.6 之后git 提供了git-http-backend 的 CGI 用于实现接收远程推送等功能。
优点: 解决了local 与ssh 权限验证单一的问题、可基于http url 提供匿名服务,从而可以放到公网上去。而local 与ssh 是很难做到这一点,必如实现一个类似github 这样的网站。
缺点: 架设复杂一些需要部署 WEB服务器,和https 证书之类的配置
场景: 大型团队、需要对权限精准控制、需要把服务部署到公网上去
HTTP Dumb 配置与使用
(1)创建服务端版本仓库
cd /data/git-repository
git --bare init binghe.git
cd binghe.git/hooks/mv
(2)版本更新钩子,当有版本提交的时候会执行更新
post-update.sample post-update
./post-update
Nginx 静态访问配置
server {
listen 80;
server_name git.tl.com;
location / {
root /data/git-repository;
}
}
(3)重命名钩子
mv hooks/post-update.sample hooks/post-update
(4)本地克隆远程服务
git clone http://git.tl.com/binghe.git
注: http Smart 协议 是基于 CGI 配合GIT git-http-backend 脚本进行使用,配置较复杂,现在一般不会这么去做,而是采用gitlab 、gogs 之类的web管理进行代替。
Git协议
Git 协议是包含在 Git 里的一个特殊的守护进程;它监听在一个特定的端口(9418),类似于 SSH 服务,但是访问无需任何授权。
优点: 目前,Git 协议是 Git 使用的网络传输协议里最快的。 如果你的项目有很大的访问量,或者你的项目很庞大并且不需要为写进行用户授权,架设 Git 守护进程来提供服务是不错的选择。 它使用与 SSH 相同的数据传输机制,但是省去了加密和授权的开销。
缺点: Git 协议缺点是缺乏授权机制。 而且9418是一个非标准端口,一般防火墙不会开放。
Git协议的使用
cd binghe.git/
(1)创建一个空文件,表示开放该项目
touch git-daemon-export-ok
(2)启动守护进程
nohub git daemon --reuseaddr --base-path=/data/git-repository/ /data/git-repository/ &
(3)本地克隆远程项目
git clone git://192.168.0.147:9418/binghe.git
看到这里,小伙伴们有点累了,来给大家看个妹子,稍后我们继续今天的重点:搭建企业级私有Git服务。
、
搭建企业级私有Git服务
这里,我们是基于gogs搭建的企业级GIt服务。
gogs服务安装
Gogs 是一款开源的轻量级Git web服务,其特点是简单易用完档齐全、国际化做的相当不错。其主要功能如下:
- 提供Http 与ssh 两种协议访问源码服务
- 提供可WEB界面可查看修改源码代码
- 提供较完善的权限管理功能、其中包括组织、团队、个人等仓库权限
- 提供简单的项目wiki功能
- 提供工单管理与里程碑管理。
下载安装
下载:https://gogs.io/docs/installation 选择 linx amd64 下载安装
文档:https://gogs.io/docs/installation/install_from_binary
安装
解压之后目录:
运行
(1)前台运行
./gogs web
(2)后台运行
nohup ./gogs web &
默认端口:3000
初次访问http://
可选择mysql 或sqlite 等数据。这里选的是sqllite
注:mysql 索引长度的问题没有安装成功,需要用mysql5.7 以上版本
gogs 基础配置
邮件配置说明:
邮件配置是用于注册时邮件确认,和找回密码时候的验证邮件发送。其配置分为两步:
(1)创建一个开通了smtp 服务的邮箱帐号,一般用公司管理员邮箱。我这里用的是QQ邮箱。
(2)在{gogs_home/custom/conf/app.ini 文件中配置。
QQ邮箱开通smtp服务
(1)点击设置
(2)开启smtp
邮件设置
设置文件:{gogs_home}/custom/conf/app.ini
可以看到,我们配置的主要信息如下所示。
ENABLED = true
HOST=smtp.qq.com:465
FROM=
USER=
PASSWD=
- ENABLED :是否启用邮件服务,true表示启用邮件服务。
- host 为smtp 服务器地址,(需要对应邮箱开通smtp服务 且必须为ssl 的形式访问)
- from 发送人名称地址
- user 发送帐号
- passwd 开通smtp 帐户时会有对应的授权码
重启后可直接测试,小伙伴们可以按照如下顺序进行测试。
管理员登录》控制面版》应用配置管理》邮件配置》发送测试邮件
gogs定时备份与恢复
备份与恢复:
(1)查看备份相关参数
./gogs backup -h
(2)默认备份,备份在当前目录
./gogs backup
(3)参数化备份 --target 输出目录 --database-only 只备份 db
./gogs backup --target=./backupes --database-only --exclude-repos
(4)恢复。执行该命令前要先删除 custom.bak
./gogs restore --from=gogs-backup-20200920062712.zip
(5)自动备份脚本
\#!/bin/sh -e
gogs_home="/home/apps/svr/gogs/"
backup_dir="$gogs_home/backups"
cd `dirname $0`
(6)执行备份命令
./gogs backup --target=$backup_dir
echo 'backup sucess'
day=7
(7)查找并删除 7天前的备份
find $backup_dir -name '*.zip' -mtime +7 -type f |xargs rm -f;
echo 'delete expire back data!'
(8)添加定时任务 每天4:00执行备份
打开任务编辑器
crontab -e
输入如下命令 00 04 * * * 每天凌晨4点执行 do-backup.sh 并输出日志至 #backup.log
00 04 * * * /home/apps/svr/gogs/do-backup.sh >> /home/apps/svr/gogs/backup.log 2>&1
配置与添加客户端公钥
Git配置
Git安装完之后,需做最后一步配置。打开git bash,分别执行以下两句命令
git config --global user.name “用户名”
git config --global user.email “邮箱”
Git 自动记住用户和密码操作
git config --global credential.helper store
SSH公钥创建
(1)打开git bash
(2)执行生成公钥和私钥的命令:ssh-keygen -t rsa 并按回车3下
(3)执行查看公钥的命令:cat ~/.ssh/id_rsa.pub
(4)拷贝id_rsa.pub 内容至服务器~/.ssh/authorized_keys 中
重磅福利
微信搜一搜【冰河技术】微信公众号,关注这个有深度的程序员,每天阅读超硬核技术干货,公众号内回复【PDF】有我准备的一线大厂面试资料和我原创的超硬核PDF技术文档,以及我为大家精心准备的多套简历模板(不断更新中),希望大家都能找到心仪的工作,学习是一条时而郁郁寡欢,时而开怀大笑的路,加油。如果你通过努力成功进入到了心仪的公司,一定不要懈怠放松,职场成长和新技术学习一样,不进则退。如果有幸我们江湖再见!
另外,我开源的各个PDF,后续我都会持续更新和维护,感谢大家长期以来对冰河的支持!!
写在最后
如果你觉得冰河写的还不错,请微信搜索并关注「 冰河技术 」微信公众号,跟冰河学习高并发、分布式、微服务、大数据、互联网和云原生技术,「 冰河技术 」微信公众号更新了大量技术专题,每一篇技术文章干货满满!不少读者已经通过阅读「 冰河技术 」微信公众号文章,吊打面试官,成功跳槽到大厂;也有不少读者实现了技术上的飞跃,成为公司的技术骨干!如果你也想像他们一样提升自己的能力,实现技术能力的飞跃,进大厂,升职加薪,那就关注「 冰河技术 」微信公众号吧,每天更新超硬核技术干货,让你对如何提升技术能力不再迷茫!