搭建自己的GitLab CI Runner 运行Laravel测试
搭建自己的GitLab-CI 和 GitLab-Runner 运行Laravel测试
Preface 前言
这篇文章将介绍如何使用自己的机器来搭建用于 Gitlab CI 的 runner. 在搭建自己的 CI Runner 之前，需要先明确一些概念：
Continuous Integration(持续集成)
CI 的全称是 Continuous Integration (持续集成)，是 extreme programming (极限编程) 的一部分。我们常用 CI 来做一些自动化工作，这种自动化工作会运行在一台集中的机器上，比如程序的打包，单元测试，部署等。这种构建方式避免了了打包环境差异引动的错误，并且通过 Gitlab 的 hook, 在代码提交的各个环节自动地完成一系列的构建工作。
软件集成是软件开发过程中的一个环节，这个环节的工作一般会包括以下流程：合并代码 ---->安装依赖 ----> 编译- ---> 测试 ----> 发布。
软件集成的工作一般会比较细碎繁琐，为了不影响开发效率，以前软件集成这个环节一般不会经常进行或者只会等到项目后期再进行。但是有些问题，如果等到后期才发现，解决问题的代价很大，有可能导致项目延期或者失败。因此，为了尽早发现软件集成错误，鼓励团队成员应该经常集成他们的工作，通常每个成员每天应该至少集成一次。这就是所说的持续集成。所以说，持续集成是一种软件开发实践。
软件集成的工作细碎繁琐，以前是由人工完成的。但是现在鼓励持续集成，那岂不是要累死人，还影响开发效率。所以，应该考虑将软件集成这个工作自动化，这就出现了所谓的持续集成系统。
GitLab-CI
GitLab-CI就是一套配合GitLab使用的持续集成系统（当然，还有其它的持续集成系统，同样可以配合GitLab使用，比如Jenkins）。而且GitLab8.0以后的版本是默认集成了GitLab-CI并且默认启用的。GitLab-Runner
那GitLab-Runner又是什么东东呢？与GitLab-CI有什么关系呢？
GitLab-Runner是配合GitLab-CI进行使用的。一般地，GitLab里面的每一个工程都会定义一个属于这个工程的软件集成脚本，用来自动化地完成一些软件集成工作。当这个工程的仓库代码发生变动时，比如有人push了代码，GitLab就会将这个变动通知GitLab-CI。这时
GitLab-CI会找出与这个工程相关联的Runner，并通知这些Runner把代码更新到本地并执行预定义好的执行脚本。
所以，GitLab-Runner就是一个用来执行软件集成脚本的东西。你可以想象一下：Runner就像一个个的工人，而GitLab-CI就是这些工人的一个管理中心，所有工人都要在GitLab-CI里面登记注册，并且表明自己是为哪个工程服务的。当相应的工程发生变化时，GitLab-CI就会通知相应的工人执行软件集成脚本。如下图所示：
Runner可以分布在不同的主机上，同一个主机上也可以有多个Runner。
Runner类型
GitLab-Runner可以分类两种类型：Shared Runner（共享型）和Specific Runner（指定型）。
Shared Runner：这种Runner（工人）是所有工程都能够用的。只有系统管理员能够创建Shared Runner。
Specific Runner：这种Runner（工人）只能为指定的工程服务。拥有该工程访问权限的人都能够为该工程创建Shared Runner。
本文操作目标：搭建 GitLab 以及使用 GitLab 的 CI Runner 服务，对项目进行测试。操作过一次，才知道并非想像中的那么复杂，也没有像想中的那么简单！
1、准备工作
Centos7 机器，2台。 一台安装GitLab和Runner，一台用来充当Runner的操作机。
2、Docker安装
中文文档地址：http://www.docker.org.cn/index.html
官方网站：https://docs.docker.com/linux/started/
Docker支持的安装方式:
Docker有很多种安装的选择，其中支持最好的是Ubuntu系统。我们推荐您在Ubuntu下面安装，因为docker是在Ubuntu下面开发的，安装包测试比较充分，可以保证软件包的可用性。Mac, windows和其他的一些linux发行版本无法原生运行Docker，可以使用虚拟软件创建一个ubuntu的虚拟机并在里面运行docker。
CentOS 6 上安装后怎么最高只有 Docker 1.7 这个版本。
Docker 已经不再支持 CentOS 6 了，现在看到的是很久以前的老版本，之后再也没有发布过 CentOS 6 的版本,所以不要再在 CentOS 6上用 Docker 了。换 CentOS 7 或者 Ubuntu 吧。
Ubuntu下载地址：http://releases.ubuntu.com/16.04.3/
CentOS7 64位下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/
Docker的安装及基础使用，本章不做阐述。
3、GitLab安装
从Gitblit转移至GitLab，发现其复杂度真不是一个数量级的。如果不需要在源码上做很多服务，还是Gitblit用的随心。
使用Docker安装GitLab，找了一个9.x的中文版。
汉化的 GitLab 社区版 Docker Image
下载地址：https://hub.docker.com/r/twang2218/gitlab-ce-zh/
$ docker pull docker.io/twang2218/gitlab-ce-zh $ docker images docker.io/twang2218/gitlab-ce-zh latest b8165a7e3d68 3 months ago 1.39 GB $ docker run --detach \ --hostname 192.168.1.8 \ --publish 8082:8082 --name gitlab9 \ --restart always \ --volume /home/gitlab:/var/opt/gitlab/git-data \ docker.io/twang2218/gitlab-ce-zh $ docker ps
这里有一点要说明，端口映射，写的是8082到8082，就是说访问物理主机（192.168.1.8）的8082端口，相当于访问docker主机的8082端口。
但是GitLab默认的服务端口是80，要下入docker主机，改一下配置。
# 进入docker主机的ssh $ docker exec -it gitlab9 /bin/bash # 修改 /etc/gitlab/gitlab.rb bash: warning: setlocale: LC_ALL: cannot change locale (en_US.UTF-8) root@192:/# vim /etc/gitlab/gitlab.rb #修改项目 external_url 'http://192.168.1.8:8082'
应用配置更新
gitlab-ctl reconfigure
雷点：直接重启GitLab服务，配置是不会更新的。
此时，访问 http://192.168.1.8:8082，基本是OK的了。更新密码，创建项目之流，基本不需要指导。
.gitlab-ci.yml
资料显示，GitLab8之后的版本，默认集成，并启用了GitLabCI，所以无需额外的任何配置。还是亲儿子营养多。
唯一的要求，就是你的项目代码里，必须有一个叫 .gitlab-ci.yml的文件。使用GitLab管理后台，可以添加文件，添加时可以选择对应的模板文件，还是很贴心的。有如下图示：
文件大概的内容，就是一堆任务，包构建命令（能够把项目需要的环境构建出来，以便运行测试）测试命令，及其它你想执行的命令。
.gitlab-ci.yml 文件内容：
# This file is a template, and might need editing before it works on your project 这个文件是一个模板，在您的项目工作之前可能需要进行编辑。 # Official framework image. Look for the different tagged releases at: 官方框架的形象。寻找不同的标记版本: # https://hub.docker.com/r/library/php image: php:latest # Pick zero or more services to be used on all builds 选择在所有构建中使用的0或更多的服务。 # Only needed when using a docker container to run your tests in 只有在使用docker容器来运行测试时才需要。 # Check out: http://docs.gitlab.com/ce/ci/docker/using_docker_images.html#what-is-a-service services: - mysql:latest variables: MYSQL_DATABASE: project_name MYSQL_ROOT_PASSWORD: secret # This folder is cached between builds 此文件夹在构建之间进行缓存 # http://docs.gitlab.com/ce/ci/yaml/README.html#cache cache: paths: - vendor/ - node_modules/ # This is a basic example for a gem or script which doesn't use 这是一个没有使用的gem或脚本的基本示例 # services such as redis or postgres 诸如redis或postgres之类的服务 before_script: # Update packages 更新包 - apt-get update -yqq # Upgrade to Node 7 更新node 7 - curl -sL https://deb.nodesource.com/setup_7.x | bash - # Install dependencies 安装依赖 - apt-get install git nodejs libcurl4-gnutls-dev libicu-dev libmcrypt-dev libvpx-dev libjpeg-dev libpng-dev libxpm-dev zlib1g-dev libfreetype6-dev libxml2-dev libexpat1-dev libbz2-dev libgmp3-dev libldap2-dev unixodbc-dev libpq-dev libsqlite3-dev libaspell-dev libsnmp-dev libpcre3-dev libtidy-dev -yqq # Install php extensions 安装php扩展 - docker-php-ext-install mbstring mcrypt pdo_mysql curl json intl gd xml zip bz2 opcache # Install Composer and project dependencies 安装composer和项目依赖 - curl -sS https://getcomposer.org/installer | php - php composer.phar install # Install Node dependencies 安装node的依赖 # comment this out if you don't have a node dependency 如果没有节点依赖，请注释掉 - npm install # Copy over testing configuration 复制测试配置。 # Don't forget to set the database config in .env.testing correctly 不要忘记在.env中设置数据库配置。测试正确 # DB_HOST=mysql # DB_DATABASE=project_name # DB_USERNAME=root # DB_PASSWORD=secret - cp .env.testing .env # Run npm build # comment this out if you don't have a frontend build 若果没有前端build，请注释掉 # you can change this to to your frontend building script like 你可以把它修改为你的前端构建脚本 # npm run build - npm run dev # Generate an application key. Re-cache. 生成一个应用程序 - php artisan key:generate - php artisan config:cache # Run database migrations. 执行数据库迁移 - php artisan migrate # Run database seed 执行数据填充 - php artisan db:seed test: script: # run laravel tests 执行测试 - php vendor/bin/phpunit --coverage-text --colors=never # run frontend tests 执行前端测试 # if you have any task for testing frontend 如果你有测试前端的任务 # set it in your package.json script # comment this out if you don't have a frontend test 如果你没有前端测试，请注释掉 - npm test
这里直接使用Laravel模板。然后需要针对自己的系统，对脚本微调：
- apt-get替换成yum。因为我的目标机是centos7
- 删除docker相关的内容。因为我的目标操作机没有安装docker，是一个台空白机
- 将 https 替换成 http
- 增加tags laravel，（很重要）增加完如下
test: # 下两行 很重要 tags: - laravel script: # 进入后台项目目录 - cd backend # run laravel tests - php vendor/bin/phpunit --coverage-text --colors=never
说明：脚本的任何错误，将造成任务运行失败
GitLab管理端，也可以看到此文件的语法检查：
4、GitLab - Runner 安装 注册
先说一下大致流程：
1，安装runner
2，runner注册到 GitLab
3，当代码提交后，GitLab根据 .yml的配置，通知runner，起来，干活啦
4，runner收到任务，开始执行作业
5，GitLab接收并显示 runner 的运行结果
Runner的安装
GitLab Runner 可以在GNU / Linux，macOS，FreeBSD和Windows上安装和使用。有三种安装方法。使用Docker，手动下载二进制文件，或者使用rpm / deb软件包的存储库。
以下可以找到有关不同安装方法的信息：https://docs.gitlab.com/runner/install/
这里使用Docker的安装方式：
无脑执行 $ docker pull gitlab/gitlab-runner:latest $ docker run -d --name gitlab-runner --restart always \ -v /srv/gitlab-runner/config:/etc/gitlab-runner \ -v /var/run/docker.sock:/var/run/docker.sock \ gitlab/gitlab-runner:latest
下面开始实施注册
简单一点，我们搞一个特定的Runners，页面内会提供注册需要的url和密钥：
2，执行注册命令
需要进入运行runner的docker主机，执行相关命令，过程如下：
# 进入docker主机的shell $ docker exec -it gitlab-runner /bin/bash # 注册命令 root@94652dec6e02:/# gitlab-ci-multi-runner register Running in system-mode. Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/): http://192.168.1.8:8082/ Please enter the gitlab-ci token for this runner: zQRBTAAmh1Zc9BxU6G61 Please enter the gitlab-ci description for this runner: [94652dec6e02]: just for test Please enter the gitlab-ci tags for this runner (comma separated): laravel Whether to run untagged builds [true/false]: [false]: Whether to lock the Runner to current project [true/false]: [true]: Registering runner... succeeded runner=zQRBTAAm Please enter the executor: docker-ssh+machine, kubernetes, docker, docker-ssh, shell, ssh, parallels, virtualbox, docker+machine: ssh Please enter the SSH server address (e.g. my.server.com): 192.168.1.4 Please enter the SSH server port (e.g. 22): Please enter the SSH user (e.g. root): xx Please enter the SSH password (e.g. docker.io): xx Please enter path to SSH identity file (e.g. /home/user/.ssh/id_rsa): Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
其中的 tags 非常重要。 要和 .yml文件中的tags一致，否则会出来诸如“未找到有效的Runner”等错误提示，使流水线作业搁置
可以检查本地注册情况：
# gitlab-runner list Listing configured runners ConfigFile=/etc/gitlab-runner/config.toml first test Executor=ssh Token=e23c4a3320a90c3e81074de0f87fdc URL=http://192.168.1.8:8082/ just for test Executor=ssh Token=7ff71f37a5c9b108dbcb2234b574f2 URL=http://192.168.1.8:8082/
然后不要忘记，要启动runner服务：
# gitlab-runner start
这里我选择了ssh的方式。此方式相当于给runner找一个『肉机』去跑项目的集成测试代码。其它方式待研究
同时，注册成功之后，GitLab管理后台，也可以看到注册信息
5、测试
文行致此，已万事俱备
push你的代码至版本库，GitLabCI即开始工作，如果你想看到绿色的成功图标，根据提示一步一步调试你的 .yml脚本吧
作者：勤劳一沙鸥
链接：http://www.jianshu.com/p/238714700b67
來源：简书
