设计一个简单的devops系统
前言
公司设计的RDMS挺好用的,我也照猫画虎简单的设计一个DevOps系统,与大家分享,不足之处欢迎拍砖,以免误人子弟
前置条件
gitlab
gitlab-runner
k8s
1. gitlab创建群组
创建群组的好处是,对项目进行分组,群组内的资源可以共享,这里创建了一个tibos的群组
2. 在群组创建一个项目
这里创建一个空白项目,项目名为Gourd.Test,将项目克隆到本地,然后在该目录下创建一个.net core3.1的webapi项目,并推送到gitlab
3.编写dockerfile
FROM registry.cn-hangzhou.aliyuncs.com/wmowm/dotnet.core.aspnet:3.1 AS base
WORKDIR /app
EXPOSE 80
LABEL applabel=tibos
FROM registry.cn-hangzhou.aliyuncs.com/wmowm/dotnet.core.sdk:3.1 AS build
WORKDIR ../Gourd.Test
COPY . .
WORKDIR "/Gourd.Test"
RUN dotnet publish "Gourd.Test.csproj" -c Release -o /app
FROM base AS final
WORKDIR /app
COPY --from=build /app .
RUN rm -rf appsettings.Development.json
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
&& echo 'Asia/Shanghai' >/etc/timezone
ENTRYPOINT ["dotnet", "Gourd.Test.dll","-b","0.0.0.0"]
这里给镜像加了一个标签(LABEL applabel=tibos),方便清理
4.编写 gitlab-ci.yml
variables:
PROJECT_NAME: gourd.test
WEBAPI_DOCKERFILE_PATH: ./Gourd.Test/dockerfile
stages:
- build
- deploy
build:
stage: build
script:
- echo "登录私有仓库"
- docker login --username=${DOCKER_REPOSTORY_USERNAME} -p ${DOCKER_REPOSTORY_PASSPORD} ${DOCKER_REPOSTORY_ADDRESSURL}
- imageversion=$CI_PIPELINE_ID
- echo "开始构建镜像:${PROJECT_NAME}.${imageversion}"
- docker build -t ${PROJECT_NAME}.${imageversion} .
- echo "打标签:${DOCKER_REPOSTORY_ADDRESSURL}/${DOCKER_REPOSTORY_NAME}/${PROJECT_NAME}:${imageversion}"
- docker tag ${PROJECT_NAME}.${imageversion} ${DOCKER_REPOSTORY_ADDRESSURL}/${DOCKER_REPOSTORY_NAME}/${PROJECT_NAME}:${imageversion}
- echo "推送到中央仓库"
- docker push ${DOCKER_REPOSTORY_ADDRESSURL}/${DOCKER_REPOSTORY_NAME}/${PROJECT_NAME}:${imageversion}
- echo "清理未使用的镜像"
- docker image prune -a -f --filter="label=applabel=tibos"
- docker rmi $(docker images | grep "none" | awk '{print $3}')
only:
- main
白话文翻译ci配置
定义了两个变量,项目名称与dockerfile相对地址,然后执行构建步骤,构建脚本如下
- 登录docker私有仓库,这里是bp的阿里云的docker仓库,后文会讲如何bp
- 定义镜像版本号,这里直接取gitlab-ci内置的流水线编号作为版本号,gitlab-ci内置了很多环境变量,可以查阅文档
- 构建镜像
- 镜像打标签
- 推送到阿里云docker仓库
- 清理未使用且包含tibos标签的镜像
5.敏感信息,使用ci的变量进行保护
6.bp阿里云镜像仓库
先创建一个名称空间,然后根据自己的项目名称创建对应的仓库即可,也可以把外网的一些镜像打个标签,推送到自己的镜像仓库,这样从自己的镜像仓库拉取,速度会快很多
在镜像版本里查看自己推送的镜像,这些都是gitlab-ci 构建成功,推送过来的
7.注册runner
我这里是创建的团队runner,这样团队项目可以共享该runner,注册好后编辑runner,勾选运行未标记的作业,怎么注册gitlab-runner网上有很详细的教程,这里就不多赘述了
gitlab-runner job如下,可以看到.net core 构建还是挺快的
- 做到这里ci部分就完成了,当我们提交代码的时候,会自动触发gitlab-ci,然后docker构建,并推送到镜像仓库,接下来是cd 部分
8.开启gitlab webhooks功能,将事件消息推送给指定的服务
这里写一个服务,用来接收gitlb webhooks 通过post发送的http请求,下面有它的发送记录,方便我们查找问题,我们根据请求详情,通过vs辅助功能把json一键转换成实体,作为vo,并把数据持久化到数据库,它的状态变化为 created->pending->running->success,可以根据自己的业务进行定制
9.发布到k8s
发布到k8s有两种途径,1.通过k8s代理,直接调用k8s api, 2.通过shell直接执行k8s命令, 这个根据自己的业务来定制,我这里采用了shell的方式,因为简单方便
- k8s api如下
10. netcore 使用supversior托管后,无法执行shell的问题
去官网转了一圈,没找到有用信息,大概意思是子进程下无法获取宿主全部环境,仅仅是拷贝几个环境到子流程环境,所以导致shell无法执行........ 换成pm2来托管程序,可以正常执行shell
能执行shell那就好办了,基本上可以通过shell完成所有k8s功能, 比如 发布,回滚,扩容,修改配置,查询容器日志.......
11. 设置部署环境
我们可以根据项目分支或者tag来对应不同的环境,如develop,test,pre,prod..... 比如pre环境只能发布master分支的构建记录
12. 通过网页显示容器日志
通过k8s api 或者shell 都可以查询日志, linux服务端日志一般采用ANSI编码,部分内容展示会出现乱码,这里我们用ansi_up.js这个库,可以解决该问题
