【课程14】持续集...概念.xmind0.6MB
【课程14】持续集成...kins.xmind43.3KB
【课程14预习】持续...kins.xmind0.4MB
程序员开发应用，开发后需要提交svn，然后从svn拉取代码，进行构建，发布到tomcat中，发布，然后看呈现效果，这样的工作是频繁反复的在进行的，浪费了程序员的大量时间，那么能不能把这些工作自动化呢，只需要程序员更新代码到svn，然后自动的构建，发布，呈现效果，当然是可以的，通过jenkins来实现。
什么是持续集成
互联网软件的开发和发布，已经形成了一套标准流程，最重要的组成部分就是持续集成（Continuous integration，简称CI）。
持续集成指的是，频繁地（一天多次）将代码集成到主干。
它的好处主要有两个。
（1）快速发现错误。每完成一点更新，就集成到主干，可以快速发现错误，定位错误也比较容易。
（2）防止分支大幅偏离主干。如果不是经常集成，主干又在不断更新，会导致以后集成的难度变大，甚至难以集成。
持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。
这种做法的核心思想在于：既然事实上难以做到事先完全了解完整的、正确的需求，那么就干脆一小块一小块的做，并且加快交付的速度和频率，使得交付物尽早在下个环节得到验证。早发现问题早返工。
持续集成
持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。
持续交付
持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的「类生产环境」（production-like environments）中。比如，我们完成单元测试后，可以把代码部署到连接数据库的 Staging 环境中更多的测试。如果代码没有问题，可以继续手动部署到生产环境中。
持续部署
持续部署则是在持续交付的基础上，把部署到生产环境的过程自动化。
总结就是
持续，就是说每完成一个完整的部分，就向下个环节交付，发现问题可以马上调整。是的问题不会放大到其他部分和后面的环节。
集成，是指软件个人研发的部分向软件整体部分交付，以便尽早发现个人开发部分的问题；
部署，是代码尽快向可运行的开发/测试节交付，以便尽早测试；
交付，是指研发尽快向客户交付，以便尽早发现生产环境中存在的问题。
1）核心价值体现在：
a、持续集成中的任何一个环节都是自动完成的，无需太多的人工干预，有利于减少重复过程以节省时间、费用和工作量；
b、持续集成保障了每个时间点上团队成员提交的代码是能成功集成的。换言之，任何时间点都能第一时间发现软件的集成问题，使任意时间发布可部署的软件成为了可能；
c、持续集成还能利于软件本身的发展趋势，这点在需求不明确或是频繁性变更的情景中尤其重要，持续集成的质量能帮助团队进行有效决策，同时建立团队对开发产品的信心。
2）持续集成系统的组成
由此可见，一个完整的构建系统必须包括：
A、一个自动构建过程，包括自动编译、分发、部署和测试等。
B、 一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库。
C、一个持续集成服务器。本文中介绍的 Jenkins/Jenkins 就是一个配置简单和使用方便的持续集成服务器。
什么是jenkins
Jenkins是一个开源的持续集成的服务器，Jenkins开源帮助我们自动构建各类项目。Jenkins强大的插件式，使得Jenkins可以集成很多软件，可能帮助我们持续集成我们的工程项目。
Jenkins对于maven工程完整的编译和发布流程如下：
1、Jenkins从SVN上拉取代码到指定的编译机器上。
2、在编译机器上触发编译命令或脚本。
3、编译得到的结果文件。
4、把结果文件传到指定的服务器上。
5、重启服务
jenkins环境安装
首先安装java环境
1、本地下载jdk8.tar.gz包，然后通过xshell和xftp工具上传到/opt【可自定义】目录。
2、使用tar -zxvf jdk8.tar.gz 解压文件。
3、打开/etc/profile文件中配置java环境
export JAVA_HOME=/opt/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使用命令source /etc/profile 让环境重新加载，输入java -version坚持是否配置成功
安装maven环境
1、查看地址
https://maven.apache.org/download.cgi
2、复制要下载的链接地址，使用linux的wget命令下载。切换到/opt目录，直接下载：
wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.3/binaries/apache-maven-3.5.3-bin.tar.gz
3、使用tar -zxvf apache-maven-3.5.3-bin.tar.gz 解压文件得到apache-maven-3.5.3
4、/etc/profile配置环境，并使用命令source /etc/profile 让环境重新加载
export MAVEN_HOME=/opt/apache-maven-3.5.3
export PATH=${MAVEN_HOME}/bin:$PATH
5、检验是否配置成功。
maven的配置setting.xml最好修改镜像源：
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
安装git环境
按照以下命名安装：
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
wget https://www.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gz
tar xzf git-1.8.3.1.tar.gz
cd git-1.8.3.1
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >>/etc/bashrc
source /etc/bashrc
git --version
mysql安装
查看默认密码：
grep 'temporary password' /var/log/mysqld.log
修改密码：
ALTER USER 'root'@'localhost' IDENTIFIED BY 'admin';
安装jenkins
下载jenkins.war
直接下载war包，windows和linux环境通用。linux可以通过wget命令直接下载到指定目录。windows直接把链接复制到浏览器链接栏即可下载。
wget http://mirrors.shu.edu.cn/jenkins/war-stable/2.121.1/jenkins.war
下载完了之后可以在当前目录看到jenkins.war包，表示已经下载完成。
运行命令
jenkins.war包可以有两种运行方式：
- 第一种是把war包放到tomcat的webapps目录下运行；
- 第二种是直接通过java -jar来启动项目，因为jenkins.war包里面已经内置了jetty服务器，可以直接启动，通过--httpPort来指定启动端口，添加&表示以服务形式启动。
java -jar jenkins.war --httpPort=8081 &
安装过程
打开链接地址http://你的ip:8081,
获取秘钥：
cat /root/.jenkins/secrets/initialAdminPassword
新手最好直接选择安装推荐的插件就可以，熟悉以后下次就可以自定义插件安装即可。
正在下载推荐的额插件
插件安装完毕，跳转到创建管理员。填入用户名密码。
jenkins安装成功。
jenkins插件管理
本次课程主要讲发布maven项目到tomcat中。所以还需要安装以下两个插件：
打开管理插件页面：
选择，直接安装！
jenkins全局配置
系统管理--》全局工具配置，需要把服务器的jdk、maven、git等环境配置好。
构建jar项目
共同配置
- 配置git或者svn地址，jenkins会自动从远程仓库拉去最新代码。
如果是私有项目的话，需要加入用户名密码
- 开始maven打包构建的命令，可以去掉test测试
clean install -Dmaven.test.skip=true -Ptest
jenkins与应用服务器同一台机器
- 经过上一个步骤之后，jenkins会在默认路径/root/.jenkins/workspace/上看到打包的项目，/root/.jenkins/workspace/homework/target目录下有打包的jar文件。spring-boot-homework-0.0.1-SNAPSHOT.jar。因此我们打包完成之后的工作就是要替换原来的jar文件，然后重启项目。
这里我们使用shell脚本来完成。
- DIR表示存放jar文件、和启动项目的文件夹。JAEFILE是指jar包的名称。
- 接下来的工作其实就是杀掉原来的spring-boot-homework-0.0.1-SNAPSHOT.jar进程
- 备份原来的jar包
- 把新生成的jar覆盖原来的
- 然后java -jar启动项目
- BUILD_ID=dontKillMe表示jenkins不杀掉衍生的线程
shell脚本如下：
echo '开始启动项目~~~~~~~~~'
DATE=$(date +%Y%m%d_%H%M)
export JAVA_HOME PATH CLASSPATH
JAVA_HOME=/opt/jdk1.8.0_181
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
DIR=/opt/jar
JARFILE=spring-boot-homework-0.0.1-SNAPSHOT.jar
if [ ! -d $DIR/backup ];then
mkdir -p $DIR/backup
fi
cd $DIR
ps -ef | grep $JARFILE | grep -v grep | awk '{print $2}' | xargs kill -9
mv $JARFILE backup/$JARFILE$DATE
mv -f /root/.jenkins/workspace/homework/target/$JARFILE .
BUILD_ID=dontKillMe nohup java -jar $JARFILE > out.log &
if [ $? = 0 ];then
sleep 30
tail -n 50 out.log
fi
cd backup/
ls -lt|awk 'NR>5{print $NF}'|xargs rm -rf
echo '结束启动项目~~~~'
致此，项目就会自动部署，只需要点击构建按钮，jenkins就会自动拉去最新代码，然后备份、重启项目。
回顾一下流程：
- 打包文成之后执行shell实现切换jar，重新部署项目。
jenkins与应用服务器不同台机器
上面的过程是当jenkins与应用服务器同一台的时候才能直接复制过去，当服务器不同的时候就不能这样做了，可以通过ssh或者scp来传输jar包过去，然后再执行shell脚本。
为了方便演示，我这里用的还是同一台机器，不过不再使用复制的方式，而是通过ssh吧文件传输给自己。
在配置之前，输入ssh 127.0.0.1，会提示要输入密码。
ssh的配置可使用密钥，也可以使用密码，这里我们使用密钥来配置，在配置之前先配置好jenkins服务器和应用服务器的密钥认证。
jenkins服务器上生成密钥对，使用ssh-keygen -t rsa命令。输入下面命令 一直回车，一个矩形图形出现就说明成功，在~/.ssh/下会有私钥id_rsa和公钥id_rsa.pub
ssh-keygen -t rsa
然后把生成的公钥推动到应用服务器上，加入47.106.38.101是应用服务器的ip，因为这里用的jenkins和应用服务器同一台，所以ip是一样的。
ssh-copy-id -i ~/.ssh/id_rsa.pub 47.106.38.101
第一次需要验证密码，输入应用服务器的登录免密。出现以下提示，说明成功了。
在应用服务器上重启ssh服务，
service sshd restart
这时候再次ssh 47.106.38.101或者ssh 127.0.0.1就会直接登录成功，不再需要免密。
致此，免密登录配置完成~
接下来的工作就是上次jar文件到应用服务器，然后执行shell实现重启应用。
这里使用一种比较简单的方法，直接替换之前的命令行就行。
命令行的意思是通过scp命令把jar上次到远程服务器的指定目录，然后通过ssh免密登录指定远程的脚本。
cd target/
scp spring-boot-homework-0.0.1-SNAPSHOT.jar 127.0.0.1:/opt/jar/target/
ssh 127.0.0.1 "cd /opt/jar; ./republish.sh;"
远程脚本如下：和之前的差不多，改了一下jar的目录而已。
DATE=$(date +%Y%m%d_%H:%M:%S)
export JAVA_HOME PATH CLASSPATH
JAVA_HOME=/opt/jdk1.8.0_181
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
DIR=/opt/jar
JARFILE=spring-boot-homework-0.0.1-SNAPSHOT.jar
if [ ! -d $DIR/backup ];then
mkdir -p $DIR/backup
fi
cd $DIR
ps -ef | grep $JARFILE | grep -v grep | awk '{print $2}' | xargs kill -9
mv $JARFILE backup/$JARFILE$DATE
mv -f /opt/jar/target/$JARFILE .
java -jar $JARFILE > out.log &
if [ $? = 0 ];then
sleep 30
tail -n 50 out.log
fi
cd backup/
ls -lt|awk 'NR>5{print $NF}'|xargs rm -rf
另一种方法，还没测试成功。（暂时放弃）---------------------------------------------------------
配置jenkins的ssh传输
首先安装publish over ssh插件
安装之后，点击系统管理 > 系统设置
选择 Publish over SSH
- Path to key 写上生成的ssh路径：/root/.ssh/id_rsa
下面的SSH Servers是重点
- Name 随意起名代表这个服务，待会要根据它来选则
点击test configuration之后，出现success，表示成功。
- 新建一个maven构建项目home_server_split。复制之前的项目配置。
大部分的配置都是和同一台机器的一样的，需要修改的地方是打包完成之后的操作。
- Source files配置:target/xxx-0.0.1-SNAPSHOT.jar 项目jar包名
- Remote directory:代码应用服务器的目录地址，
- Exec command： 应用服务器对应的脚本。
此种方法，还没测试成功。（暂时放弃）---------------------------------------------------------
构建war项目（知道一下就行）
与发包jar项目的前面相同，不同的是打包构建之后的步骤不一样，之前是使用shell来完成项目的重新部署，现在打成war之后我们需要做的是替换原来的war包
springboot打包成war包请参考
tomcat设置容器账号密码
因为jenkins把项目打包成war包之后需要把项目发布到tomcat的webapp目录下运行，所以需要给tomcat这是发布的账号密码。
- tomcat7在conf/tomcat-users.xml下添加如下代码
<role rolename="tomcat"/>
<role rolename="manager-script"/>
<role rolename="manager"/>
<role rolename="admin"/>
<role rolename="admin-gui"/>
<role rolename="manager-gui"/>
<user username="admin" password="123456" roles="admin,admin-gui,manager-gui,manager-script,manager-gui"/>
- tomcat8和tomcat9还需要在打开webapps/manager/META-INF/context.xml，把一行代码注释掉，如图：
- WAR/EAR files:是war包的相对路径，如target/xxx.war
- content path:Tomcat的发布路径,即项目的上下文，用于访问项目。如http://localhost:8080/heo，heo
- contaners :发布到的容器，主要可发布到tomcat、jboss、GlassFish
- deploy on failure：发生错误的时候是否发布到tomcat
码云Hook自动构建
这里要利用的其实是码云的webhook功能。
- 首先jenkins安装gitee插件，实现自动部署插件
- 添加码云链接配置
- 前往 Jenkins -> Manage Jenkins -> Configure System -> Gitee Configuration -> Gitee connections
- 在 Connection name 中输入 Gitee 或者你想要的名字
- Credentials 中如还未配置码云 APIV5 私人令牌，点击 Add - > Jenkins
- Domain 选择 Global credentials
生成的令牌：
- ID, Descripiton 中输入你想要的 ID 和描述即可。
- Credentials 选择配置好的 Gitee APIV5 Token
- 点击 Advanced ，可配置是否忽略 SSL 错误（适您的Jenkins环境是否支持），并可设置链接测超时时间（适您的网络环境而定）
- 点击 Test Connection 测试链接是否成功，如失败请检查以上 3，5，6 步骤。
点击测试成功，标识gitee配置完成。
配置了gitee的链接之后，接下来就是使用。
分为以下几个步骤：
1、打开x项目的配置，然后Gitee链接处。选择刚才配置的链接id
2、配置构建触发器：
生成hook密码。
3、打开gitee上的项目，打开管理界面的webhooks。
url的配置需要注意一下，jenkins上建议的地址是Gitee webhook 触发构建，需要在 Gitee webhook 中填写 URL: http://47.106.38.101:8080/project/homework。但是我的jenkins端口其实是8081，所以需要改回来。然后把jenkins上生成的gitee webhook密码复制过来。
点击测试，会发现，jenkins会自动开始构建完成项目发布了。也就是说，以后只要发布代码到git上，jenkins就会自动构建了，完成了自动化过程。
