Git-Jenkins-代码的上线
第一章：自动化上线代码基本介绍
1.软件开发生命周期
老板的创意---产品经理---立项---开发团队---测试团队---运维上线
产品经理---加需求---开发团队---测试----更新代码，上线
2.什么是环境?
开发环境 win gbk， mac utf8 ，php，python 开发的个人电脑
测试环境 代码集中起来，在测试环境上运行一次lnmp，测试mysql，测试 redis， ltnm
预发布环境 连接线上数据库，专门的测试域名
生产环境 线上环境 shop lnmp || bbs lnmp
公共基础设施： 监控zabbix + gitlab + Jenkins + ntp + yum + jumpserver + openvpn
3.什么是代码部署?
4.代码部署的方式?
手工: 运维需要全程陪同,重复的人工操作,容易出错
自动:
5.什么是持续集成Continuous Integration
经常频繁的代码合并， 持续集成跟运维有关的工作，提供一个代码仓库，版本控制系统（备份，迁移）
6.什么是持续交付?
开发团队---测试团队---运维上线
开发团对，单元测试，---测试用力---代码质量检测--- 测试， sonarqube
7.什么是持续部署Continuous deployment?
频繁的代码上线，持续部署
第二章：持续集成
1.什么是版本控制系统?
2.版本控制系统解决了什么问题？
快速回滚到指定的版本，只保留变化的内容
3.常见版本控制系统svn与git区别？
svn: 中心化的代码仓库
git: 分布式的代码仓库
4.git的诞生
git由林纳斯.托瓦兹
1991
2002年 csv
2005年 花了两周时间 git
2020年
5.安装和配置git
1
#git的安装
2
yum install git -y
3
git --version
4
5
git config --global user.name "oldqiang"
6
git config --global user.email "296917342@qq.com"
7
git config --global color.ui "true"
6.创建版本库
1
git init
7.git仓库添加文件
1
git add . #添加文件到缓冲区
2
git commit -m 'add three file'
8.git修改文件名称并提交
1
git mv file1 file4
2
git commit -m 'change file name'
3
4
#删除文件
5
git rm 3.txt #删除工作目录和缓冲区文件
6
git commit -m 'rm 3.txt'
9.git的文件对比
1
git diff file3 #本地目录和缓冲区文件对比
2
git diff --cached file3 #缓冲区文件和仓库文件对比
10.实现回退功能
1
查看当前的历史版本
2
git log --oneline
3
git reset --hard 942bdf3
4
5
查看所有的历史版本
6
git reflog --oneline
7
git reset --hard 942bdf3
撤销修改的文件
1
提交到缓冲的区文件撤回
2
git reset HEAD file3(文件名)
3
git checkout -- file3(文件名)
4
5
未add到缓冲区的文件撤回
6
git checkout -- file3(文件名)
11.git分支管理
1
#增加一个新分支
2
git branch dev01
3
#切换分支
4
git checkout dev01
5
6
#在开发分支上合并主分支
7
git merge master -m '注释'
8
9
#切回主分支
10
git checkout master
11
#在主分支合并开发
12
git merge dev01 -m '注释'
12.git标签管理
标签给commit起一个容易记的别名
1
#给当前版本打标签
2
git tag v1.2
3
4
#删除标签
5
git tag -d v1.2
6
7
#给任意版本打标签
8
git tag -a v1.0 -m '优化了1111 修复bug' a119962
13.git远程仓库gitee
14.gitlab安装
私有代码仓库
1
#上传gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm到当前目录
2
3
echo "192.168.37.202 mirrors.aliyun.com" >>/etc/hosts
4
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
5
yum localinstall gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm -y
6
7
vim /etc/gitlab/gitlab.rb
8
#设置访问url和关闭prometheus
9
external_url 'http://gitlab.oldqiang.com'
10
prometheus_monitoring['enable'] = false
11
12
#配置gitlab通过smtp发送邮件
13
gitlab_rails['gitlab_email_enabled'] = true
14
gitlab_rails['gitlab_email_from'] = '296917342@qq.com'
15
gitlab_rails['gitlab_email_display_name'] = 'oldboy_gitlab'
16
17
gitlab_rails['smtp_enable'] = true
18
gitlab_rails['smtp_address'] = "smtp.qq.com"
19
gitlab_rails['smtp_port'] = 465
20
gitlab_rails['smtp_user_name'] = "296917342@qq.com"
21
gitlab_rails['smtp_password'] = "xxxxxx"
22
gitlab_rails['smtp_domain'] = "qq.com"
23
gitlab_rails['smtp_authentication'] = "login"
24
gitlab_rails['smtp_enable_starttls_auto'] = true
25
gitlab_rails['smtp_tls'] = true
26
27
gitlab-ctl reconfigure
15.gitlab汉化
1
#下载汉化包https://gitlab.com/xhang/gitlab
2
wget http://192.168.37.202/linux59/gitlab-11-9-stable-zh.tar.gz
3
tar xf gitlab-11-9-stable-zh.tar.gz
4
gitlab-ctl stop
5
\cp -a gitlab-11-9-stable-zh/* /opt/gitlab/embedded/service/gitlab-rails/
6
gitlab-ctl start
16.gitlab-用户-用户组-项目之间的关系
1
先创建用户组,在基于用户组创建项目,最后创建用户,编辑用户组,添加成员,注意权限
17.gitlab备份和恢复
1
#备份
2
gitlab-rake gitlab:backup:create
3
4
#恢复
5
gitlab-ctl stop unicorn
6
gitlab-ctl stop sidekiq
7
gitlab-rake gitlab:backup:restore BACKUP=1510472027_2017_11_12_9.4.5
8
gitlab-ctl start unicorn
9
gitlab-ctl start sidekiq
10
11
12
vim /etc/gitlab/gitlab.rb
13
gitlab_rails['manage_backup_path'] = true
14
gitlab_rails['backup_path'] = "/var/opt/gitlab/backups"
15
gitlab_rails['backup_keep_time'] = 604800
16
17
#迁移云主机
18
先备份,云主机安装相同版本,恢复
18.gitlab版本升级
1
gitlab升级, 10-->11-->12
2
gitlab升级不能跨大版本
扩展内容：
1:安装svn服务器，讲svn中的数据迁移到git仓库
yum install git-svn -y
git clone svn
1
#安装svn
2
yum install subversion -y
3
mkdir /svn/repo -p
4
5
#初始化仓库
6
svnadmin create /svn/repo
7
8
cd /svn/repo/conf
9
vim svnserve.conf
10
[general]
11
anon-access = none
12
auth-access = write
13
password-db = passwd
14
authz-db = authz
15
realm = /svn/repo
16
[sasl]
17
18
19
vim passwd
20
[users]
21
admin = 123456
22
23
vim authz
24
[/]
25
admin = rw
26
test = r
27
28
#启动svn服务
29
svnserve -d -r /svn/repo
30
31
#svn迁移到git
32
yum install git-svn -y
33
git svn clone svn://10.0.0.100 --username=admin --no-metadata --authors-file=password.txt git
34
35
cat password.txt
36
admin=zhangsan<296917342@qq.com>
2:找回gitlab的root密码
第三章： 持续部署
Jenkins自动化上线
1:什么是Jenkins
Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要
Jenkins是一个调度平台
2:安装Jenkins
1
#部署tomcat
2
rpm -ivh jdk-8u102-linux-x64.rpm
3
mkdir /app
4
tar xf apache-tomcat-8.0.27.tar.gz -C /app
5
cd /app/apache-tomcat-8.0.27/webapps/
6
wget https://mirrors.tuna.tsinghua.edu.cn/jenkins/war-stable/latest/jenkins.war
7
mv jenkins.war ROOT.war
8
/app/apache-tomcat-8.0.27/bin/startup.sh
打开浏览器访问http://10.0.0.5:8080安装Jenkins
3:Jenkins插件的安装
4:创建一个job(一个代码上线的流程)
通用: 配置参数化构建
源码管理: 拉取git仓库
构建触发器: gitlab自动触发Jenkins远程构建
构建环境: 删除workspace
构建: html 远程上线, java maven编译 部署
构建后: 通知 邮件通知,钉钉通知
5:Jenkins拉取gitlab的代码
详情见视频
6:使用脚本实现html自动化代码上线
1
[root@oldboy scripts]# cat auto_deployment_html.sh
2
3
code_dir='/root/.jenkins/workspace/yiliao'
4
project='yiliao'
5
tag='v2'
6
tarname="${project}_${tag}.tar.gz"
7
web_ip="10.0.0.100 10.0.0.101"
8
cd $code_dir && tar zcf /opt/$tarname *
9
10
for n in $web_ip;
11
do
12
scp -rp /opt/$tarname root@${n}:/tmp/
13
ssh root@${n} "mkdir /html/${project}_$tag && \
14
tar xf /tmp/$tarname -C /html/${project}_$tag && \
15
rm -fr /html/web && \
16
ln -s /html/${project}_$tag /html/web"
17
done
7:使用Jenkins实现html自动化代码上线
使用gitlab自动触发构建项目
详情见视频
使用参数化构建完成版本回退
详情见视频
8:使用脚本实现java项目自动化代码上线
9:使用Jenkins实现java项目自动化代码上线
10:手动使用sonarqube实现代码质量检测
11:将代码质量检测集中Jenkins代码上线过程中
12:Jenkins分布式构建
13:Jenkins的用户权限
第一章：自动化上线代码基本介绍
1.软件开发生命周期
老板的创意---产品经理---立项---开发团队---测试团队---运维上线
产品经理---加需求---开发团队---测试----更新代码，上线
2.什么是环境?
开发环境 win gbk， mac utf8 ，php，python 开发的个人电脑
测试环境 代码集中起来，在测试环境上运行一次lnmp，测试mysql，测试 redis， ltnm
预发布环境 连接线上数据库，专门的测试域名
生产环境 线上环境 shop lnmp || bbs lnmp
公共基础设施： 监控zabbix + gitlab + Jenkins + ntp + yum + jumpserver + openvpn
3.什么是代码部署?
4.代码部署的方式?
手工: 运维需要全程陪同,重复的人工操作,容易出错
自动:
5.什么是持续集成Continuous Integration
经常频繁的代码合并， 持续集成跟运维有关的工作，提供一个代码仓库，版本控制系统（备份，迁移）
6.什么是持续交付?
开发团队---测试团队---运维上线
开发团对，单元测试，---测试用力---代码质量检测--- 测试， sonarqube
7.什么是持续部署Continuous deployment?
频繁的代码上线，持续部署
第二章：持续集成
1.什么是版本控制系统?
2.版本控制系统解决了什么问题？
快速回滚到指定的版本，只保留变化的内容
3.常见版本控制系统svn与git区别？
svn: 中心化的代码仓库
git: 分布式的代码仓库
4.git的诞生
git由林纳斯.托瓦兹
1991
2002年 csv
2005年 花了两周时间 git
2020年
5.安装和配置git
1
#git的安装
2
yum install git -y
3
git --version
4
5
git config --global user.name "oldqiang"
6
git config --global user.email "296917342@qq.com"
7
git config --global color.ui "true"
6.创建版本库
1
git init
7.git仓库添加文件
1
git add . #添加文件到缓冲区
2
git commit -m 'add three file'
8.git修改文件名称并提交
1
git mv file1 file4
2
git commit -m 'change file name'
3
4
#删除文件
5
git rm 3.txt #删除工作目录和缓冲区文件
6
git commit -m 'rm 3.txt'
9.git的文件对比
1
git diff file3 #本地目录和缓冲区文件对比
2
git diff --cached file3 #缓冲区文件和仓库文件对比
10.实现回退功能
1
查看当前的历史版本
2
git log --oneline
3
git reset --hard 942bdf3
4
5
查看所有的历史版本
6
git reflog --oneline
7
git reset --hard 942bdf3
撤销修改的文件
1
提交到缓冲的区文件撤回
2
git reset HEAD file3(文件名)
3
git checkout -- file3(文件名)
4
5
未add到缓冲区的文件撤回
6
git checkout -- file3(文件名)
11.git分支管理
1
#增加一个新分支
2
git branch dev01
3
#切换分支
4
git checkout dev01
5
6
#在开发分支上合并主分支
7
git merge master -m '注释'
8
9
#切回主分支
10
git checkout master
11
#在主分支合并开发
12
git merge dev01 -m '注释'
12.git标签管理
标签给commit起一个容易记的别名
1
#给当前版本打标签
2
git tag v1.2
3
4
#删除标签
5
git tag -d v1.2
6
7
#给任意版本打标签
8
git tag -a v1.0 -m '优化了1111 修复bug' a119962
13.git远程仓库gitee
14.gitlab安装
私有代码仓库
1
#上传gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm到当前目录
2
3
echo "192.168.37.202 mirrors.aliyun.com" >>/etc/hosts
4
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
5
yum localinstall gitlab-ce-11.9.11-ce.0.el7.x86_64.rpm -y
6
7
vim /etc/gitlab/gitlab.rb
8
#设置访问url和关闭prometheus
9
external_url 'http://gitlab.oldqiang.com'
10
prometheus_monitoring['enable'] = false
11
12
#配置gitlab通过smtp发送邮件
13
gitlab_rails['gitlab_email_enabled'] = true
14
gitlab_rails['gitlab_email_from'] = '296917342@qq.com'
15
gitlab_rails['gitlab_email_display_name'] = 'oldboy_gitlab'
16
17
gitlab_rails['smtp_enable'] = true
18
gitlab_rails['smtp_address'] = "smtp.qq.com"
19
gitlab_rails['smtp_port'] = 465
20
gitlab_rails['smtp_user_name'] = "296917342@qq.com"
21
gitlab_rails['smtp_password'] = "xxxxxx"
22
gitlab_rails['smtp_domain'] = "qq.com"
23
gitlab_rails['smtp_authentication'] = "login"
24
gitlab_rails['smtp_enable_starttls_auto'] = true
25
gitlab_rails['smtp_tls'] = true
26
27
gitlab-ctl reconfigure
15.gitlab汉化
1
#下载汉化包https://gitlab.com/xhang/gitlab
2
wget http://192.168.37.202/linux59/gitlab-11-9-stable-zh.tar.gz
3
tar xf gitlab-11-9-stable-zh.tar.gz
4
gitlab-ctl stop
5
\cp -a gitlab-11-9-stable-zh/* /opt/gitlab/embedded/service/gitlab-rails/
6
gitlab-ctl start
16.gitlab-用户-用户组-项目之间的关系
1
先创建用户组,在基于用户组创建项目,最后创建用户,编辑用户组,添加成员,注意权限
17.gitlab备份和恢复
1
#备份
2
gitlab-rake gitlab:backup:create
3
4
#恢复
5
gitlab-ctl stop unicorn
6
gitlab-ctl stop sidekiq
7
gitlab-rake gitlab:backup:restore BACKUP=1510472027_2017_11_12_9.4.5
8
gitlab-ctl start unicorn
9
gitlab-ctl start sidekiq
10
11
12
vim /etc/gitlab/gitlab.rb
13
gitlab_rails['manage_backup_path'] = true
14
gitlab_rails['backup_path'] = "/var/opt/gitlab/backups"
15
gitlab_rails['backup_keep_time'] = 604800
16
17
#迁移云主机
18
先备份,云主机安装相同版本,恢复
18.gitlab版本升级
1
gitlab升级, 10-->11-->12
2
gitlab升级不能跨大版本
扩展内容：
1:安装svn服务器，讲svn中的数据迁移到git仓库
yum install git-svn -y
git clone svn
1
#安装svn
2
yum install subversion -y
3
mkdir /svn/repo -p
4
5
#初始化仓库
6
svnadmin create /svn/repo
7
8
cd /svn/repo/conf
9
vim svnserve.conf
10
[general]
11
anon-access = none
12
auth-access = write
13
password-db = passwd
14
authz-db = authz
15
realm = /svn/repo
16
[sasl]
17
18
19
vim passwd
20
[users]
21
admin = 123456
22
23
vim authz
24
[/]
25
admin = rw
26
test = r
27
28
#启动svn服务
29
svnserve -d -r /svn/repo
30
31
#svn迁移到git
32
yum install git-svn -y
33
git svn clone svn://10.0.0.100 --username=admin --no-metadata --authors-file=password.txt git
34
35
cat password.txt
36
admin=zhangsan<296917342@qq.com>
2:找回gitlab的root密码
第三章： 持续部署
Jenkins自动化上线
1:什么是Jenkins
Jenkins是开源CI&CD软件领导者， 提供超过1000个插件来支持构建、部署、自动化， 满足任何项目的需要
Jenkins是一个调度平台
2:安装Jenkins
1
#部署tomcat
2
rpm -ivh jdk-8u102-linux-x64.rpm
3
mkdir /app
4
tar xf apache-tomcat-8.0.27.tar.gz -C /app
5
cd /app/apache-tomcat-8.0.27/webapps/
6
wget https://mirrors.tuna.tsinghua.edu.cn/jenkins/war-stable/latest/jenkins.war
7
mv jenkins.war ROOT.war
8
/app/apache-tomcat-8.0.27/bin/startup.sh
打开浏览器访问http://10.0.0.5:8080安装Jenkins
3:Jenkins插件的安装
4:创建一个job(一个代码上线的流程)
通用: 配置参数化构建
源码管理: 拉取git仓库
构建触发器: gitlab自动触发Jenkins远程构建
构建环境: 删除workspace
构建: html 远程上线, java maven编译 部署
构建后: 通知 邮件通知,钉钉通知
5:Jenkins拉取gitlab的代码
详情见视频
6:使用脚本实现html自动化代码上线
1
[root@oldboy scripts]# cat auto_deployment_html.sh
2
3
code_dir='/root/.jenkins/workspace/yiliao'
4
project='yiliao'
5
tag='v2'
6
tarname="${project}_${tag}.tar.gz"
7
web_ip="10.0.0.100 10.0.0.101"
8
cd $code_dir && tar zcf /opt/$tarname *
9
10
for n in $web_ip;
11
do
12
scp -rp /opt/$tarname root@${n}:/tmp/
13
ssh root@${n} "mkdir /html/${project}_$tag && \
14
tar xf /tmp/$tarname -C /html/${project}_$tag && \
15
rm -fr /html/web && \
16
ln -s /html/${project}_$tag /html/web"
17
done
7:使用Jenkins实现html自动化代码上线
使用gitlab自动触发构建项目
使用参数化构建完成版本回退
8:使用脚本实现java项目自动化代码上线
9:使用Jenkins实现java项目自动化代码上线
10:手动使用sonarqube实现代码质量检测
11:将代码质量检测集中Jenkins代码上线过程中
12:Jenkins分布式构建
13:Jenkins的用户权限
注：后续的内容下一篇文章补全。
