持续集成之“自动化部署”
在前文《依赖管理》中，我们讨论了如何在代码变得庞大，组件增多的情况下，做好外部库和内部组件依赖管理，从而提高构建效率。可以应用的实践包括：一次生成，多次复用；建立统一依赖库，外部依赖库可以使用像Maven或Ivy这样的工具进行统一管理；对架构进行调整，使一个大的代码库分成多个组件；每个组件有自己的持续集成体系；对多个组件做持续集成。然而，解决一个问题后，总会有另一个问题等在那里，需要你来解决。这次Joe的团队遇到了部署问题。
星期一早上，Alice一进办公室，就看到一脸倦意的Joe坐在椅子上，喝着咖啡。
“今天怎么来得这么早？看样子，你没睡好啊？”Alice问道。
“当然啦，昨天晚上我就来了。”Joe无精打采地回答道。
“怎么啦？”
“还不是因为新版本上线出了点儿问题”，Joe说道。“看来我们要把部署这件事好好讨论一下，再这样下去，不只我要来，你们也要和我一样啦！呵呵！”
当天下午，Joe邀请了运维团队的主要负责人Tom和Steven，召开了一个关于部署问题的讨论会。
Joe说道：“先请运维部门的Tom介绍一下上周末的新版本上线过程和发现的问题吧。”
Tom描述了上线部署全过程。
不可重复且不可靠、易出错的手工部署过程
- 当新版本开发测试完成后，由开发团队的成员在浏览器上登录运维平台，填写上线申请单。申请单的内容包括新版本的上线部署步骤。
- 测试人员为了保证能够升级部署成功，首先要复制生产环境中的程序和数据到本地的测试环境中，然后根据上线申请单中所描述的上线部署步骤进行操作，对上线步骤进行验证。
- 运维人员登录到运维平台，收到上线申请单后，确认“已收到”。
- 运维人员发现上线部署步骤有问题，生产环境的路径与上线部署步骤中描述的不一致。于是与开发人员进行沟通，让开发人员修改上线部署步骤。
- 开发人员修改后，再次通知测试人员和运维人员查看并确认。
- 确认无误后，运维人员根据部署计划，登录到生产环境中，依照上线部署步骤，手工操作完成。
“上周末上线部署时出现的情况是：在本次部署之前，我们的集群中，有两台机器因HotFix，其程序配置被修改过，与其它机器不一致。因此，该机器上的部署失败，导致部分服务不可用。运维人员查了很长时间没有发现问题，星期日打电话把Joe叫来帮助我们查问题时，Joe才回忆起有那么一次HotFix，但当时负责的运维人员已经离职，没人其它运维人员知道这件事情。”Tom说道，“我们对问题进行了分析，认为应该加强我们的上线流程管理，对于那种HotFix也应该发起一个审批流程，并且在该流程中不但要主要负责人审批，而且要对相关人发出周知通报。另外，我们的运维人员应该对上线单进行严格审核，并对部署中所涉及的机器进行更详细的验证，对生产环境中的任何修改都要进行登记。即使非常紧急，也要在事后补充记录一下。”
“这些方法固然很好，但其实我们可以采用更好的办法来解决。”Joe接着说到，“假如我们在部署运维工作也能够借鉴持续集成的做法，利用一些最佳实践，那么这次部署事故根本就不会发生。比如（1）将部署操作脚本化；（2）进行持续部署验证测试；（3）部署脚本通用化，环境变量等使用配置方式传入;（4）让测试环境尽可能与生产环境一致，至少在成本条件允许的情况下尽量保持相似；（5）对环境配置进行版本控制；（6）任何人不得直接对生产环境进行直接的手工操作，等等。”
将部署操作脚本化，并进行部署验证测试
Bob说道：“嗯，其实那些上线步骤中所描述的内容都可以进行脚本化，之前也讨论过这一问题。目前上线步骤中的内容基本都可以写成自动化脚本，即使现在不行，也可以通过少量改造，使其可以自动化。但问题是... ...”Bob犹豫了一下，接着说道，“如何来验证这些脚本是正确的呢？”
Joe 说道：“保证运维人员是如何验证上线申请单上的上线步骤是正确的呢？同样，我们也可以做一些部署验证就行了。这些部署的验证也可以通过脚本方式来进行，比如在安装之前验证程序所用端口没有被占用，安装之后验证该端口已被该程序所使用；比如安装之前验证程序日志中记录了该程序已停止运行，在安装之后验证程序日志中刻录该程序已重新启动；等等”。
Alice问道：“那我们还要调试这些部署脚本呀？没有线上生产环境，我们怎么调试呢？”
各类环境尽可能相似，并使部署脚本通用化
Joe 回答道：“首先我们应该加强基础设施这方面的投入。在力所能及的情况下，让测试环境与生产环境相似。比如，生产环境可能有100台机器的集群，那我们至少要找两台机器的集群做测试环境。生产环境中使用Tomcat，我们的测试环境和开发环境中也应该使用相同的Tomcat，而不用Jetty。”
Joe 停下来，喝了一口咖啡，接着说道：“这样一来，我们的部署脚本就可以在开发环境、测试环境进行测试了。当开发人员进行本地测试时，可以使用这个脚本进行单机的部署。当测试人员进行集成测试时，可以使用同样的脚本进行多机部署。与机器数量无关的配置可以统一放在某配置文件中。而与机器数量等相关的配置可以放在另外的配置文件中。由于在真正上线部署之前，开发人员和测试人员已经使用同一个脚本进行多次部署，就是对该脚本进行的测试。当我们上线部署时，只有与机器相关的配置文件会有变化，其它配置基本相同，所以上线部署时脚本出错的几率已经比较小了。而且，这种自动化没有人工干预，也不会发生手工误操作。”
Tom问道：“那这些脚本由谁来写？由谁维护呢？”
Joe回答道：“谁最了解情况，就由谁来写。其实，我们也应该像对待产品代码一样，来对待这些脚本和配置文件，把它们放在我们的代码库里，进行版本控制。无论是运维人员还是开发人员，或者测试人员，对这些脚本的修改都应该提交到版本控制库中，除非他所做的修改只是为了测试他自己在本地的程序，那就不用提交了。这样一来，‘谁在什么时候对什么进行了修改，为什么做修改？’这个审计问题就可以直接由版本控制系统来回答，也就做到了所有内容可追踪了。”
对环境管理进行版本控制，杜绝对生产环境的手工直接修改
“听上去，对于配置文件、脚本等进行版本管理的确是解决了运维部署的很多问题。但如何对环境管理进行版本控制呢？”Tom问道。
Joe想了想，说道：“环境管理比较复杂。一般来说，环境包括几个层次，包括硬件及网络配置、操作系统、我们的应用程序所依赖的软件堆栈及其配置、以及我们的应用程序运行时所需的数据及其配置。目前对我们来说，对于硬件及网络配置、操作系统这两层来说，有两种方式进行管理。一种是利用一些专用软件进行自动化的远程配置，即只要给机器加电，就可以通过一些技术对一台机器进行系统的安装与配置。另一种是使用虚拟化技术来进行系统配置管理。对我们现在的游戏平台来说， 使用后者即可。只要将基本的环境做成虚拟机镜像文件，并将其作为环境基线进行版本管理。当然，由于镜像通常较大，所以最好不要使用常见的版本控制工具（如subversion，Git等）进行，而使用某种简单的机制即可。”
Joe停了一下，看看大家没有提问的意思，于是接着说道：“至于基于其上的软件堆栈及堆栈中各软件的配置管理完全可以利用类似于CfEngine，Puppet或Chef的工具进行。这些软件环境管理工具 都提供某种领域专属语言来描述软件堆栈配置，并保存在文本文件中。这些工具一般通过服务器/客户端的工作方式运行，客户端向服务器发送请求，验证本机器节点的软件配置是否与服务器中的设置相符，如果不符，就会自动更新。尤其重要的是，这些更新操作都是幂等的，即无论这些配置在该客户机上执行多少遍，每次的结果状态都是相同的。另外，它们通常能与版本控制工具集成。所以，只要将我们的软件堆栈配置管理信息放到版本控制库中，就可以同时管理数台机器。”
“oh, 对不起，Joe，我想打断一下，”Tom问道：“你能画一个图来解释一下你刚才所说的这种软件环境配置管理工具吗？”
“当然没问题。”Joe拿起笔在白板上画了一个Puppet的工作示意图，如下图所示。
“看上去清楚多啦。”Tom笑道，“通过这种方式，我们就只需要将版本控制库中保存的配置信息检出到本地，进行相应的修改，再提交到版本控制库中，这种工具就会自动帮我们完成必要的配置更新了。是这样的吗？”
“对，”Joe点了点头，说道，“如果我们的部署脚本也是通过这种方式来做的，那么我们就根本没有必要登录到生产环境的机器上，进行手工操作了。而且，Puppet还提供一种Try Run功能，可以进行配置变更的模拟，让你能够对比一下变更前后的不同之处。”
Tom说道：“你说的这些听上去都不错。但并不是所有人都能够修改生产环境的配置信息的。所以我们还是需要一个软件平台来管理上线的申请审批流程。”
“在任何企业中，这种申请审批流程和生产环境变更的授权都是必要的，但这仅仅是审核流程的操作。而真正与软件部署相同的具体操作都不应该在这种审批流程当中。”Joe回答道。
Tom接过话来，说道：“嗯，这样的话，我们仍旧能够做到：有权限的人才能真正修改生产环境的配置文件，同时达到了无人真正直接操作生产环境的目的，避免了手工误操作带来的问题。”
参加本次会议的测试人员和运维人员对这种做法产生了浓厚的兴趣，并要求开发人员给予配合，将目前游戏平台的部署自动化。Tom说道：“这就是我们运维工作的一个方向。让枯燥易出错的重复性手工操作变成受控的自动化，从而解放运维人员，让我们可以关注于更加有价值的运行监控等工作中。”
Alice说道：“这看上去还是有一定的工作量啊。”
“当然，我们可能需要做一些工作，但我想这些投入是值得的。”Joe回答道。“同时，还需要各种角色之间更紧密的配合，而不是像之前那样，通过一个代表上个世纪八十年代先进技术的办公自动化平台来描述部署上线步骤这类关键的业务操作信息。”
Tom也点了点头，说：“嗯，应该使用版本控制方式。但我们还是需要一个上线审批的流程，只不过，这个流程中不再保存上线步骤这类与实际部署相关的业务信息，而只是为了部署人员的资格审核与信息周知的目标。”
经过一番讨论，开发、测试和运维团队在这件事情上达成了一致，并按计划开始实施了。
持续集成之“软件自我识别”
http://www.infoq.com/cn/news/2011/08/ci-software-self-recognition
在前文《自动化部署》中，我们讨论了自动化部署。通过对部署操作脚本化、部署验证自动化、部署环境版本控制、生产部署全自动化等诸多实践，可以让部署完全处于受控状态。然而，作为运维人员，是否曾经有人走过来问你这样的问题：“当前生产环境上部署的是哪个软件版本？”你是否遇到过这样的情形，即使手里拿着一个jar文件或dll文件，也无法知道它到底是哪个版本。也许你可能认为，这算不了什么，到某个管理平台上查一查部署记录就行了。可是，如果发现在生产环境的集群服务器上，不同机器上部署的同一个程序文件（比如.war文件）的大小却不相同，哪一个的大小是正确的呢？作为运维人员，你当时的心情会是什么样呢？
地点：运维人员办公室
下午五点钟，运维人员Steven习惯性地打开线上运维监控平台，一页一页地快速查看着监控数据。这已经成了他的一个工作习惯，只要有新版本上线，他总是经常打开监控页面看看。“好像没什么问题。”他暗自庆幸，“可以正点下班了”。
忽然，他的目光停在了一个流量曲线上。“为什么波动会这么大呢？”他又查看了其它几个相关曲线，没有什么问题，但直觉告诉它，可能新版本部署有问题。于是，他开始了更详细的跟踪分析。
时间随着电子表的跳动，一分钟一分钟的过去了。终于，Steven站了起来，深深地吸了一口气。此时，时钟已指向晚上八点啦。他发现，在生产环境的集群中，有五台机器的应用程序文件包与其它机器上的文件包相比，文件大小不一样。到底哪个是正确的呢？
Steven首先查了一下部署管理日志系统，文件名为abc，正确版本是1.21。可是这两种文件的文件名都是abc.war。从文件名上没有什么区别。无奈，Steven操起电话，把开发人员Bob从家中叫了回来，一起解决这个问题。
又经过三个多小时的忙活，两个人终于找到了正确的版本。原来，只有那五台机器上的二进制包是正确的，其它机器上的都不对。这两个版本都属于1.21，只不过，其中一个是快上线前修复bug的一个测试版本，而另一个是正式上线版本。它们在版本库中的revision只差一个。可能是谁部署时不小心搞错了。
地点：开发团队工作室
第二天一大早，Steven在站会上把这个Case通报了一下，引起了Joe的注意。Joe说道：“我们站会之后讨论一下，怎么避免这类问题的发生吧。”
于是，站会后，Joe、Bob、Alice和Steven在一个角落里坐了下来，并叫来了运维主管Tom。
“我们都使用了自动化部署，怎么还会出现这个问题呢？”Tom不解的问道。
Steven答道：“我查看了一下脚本，这部分没有做验证，我今天把它加上。不过，这两个版本的文件名称是一样的，只能在部署前拿到它们的MD5，进行比对验证。”
Alice说道：“我们还可以对文件名进行规范，在文件名上加入版本号，比如appname-xxx_xxx。”
“这也是解决问题的一个办法。但是，你知道，文件是很容易被重命名的。”Joe说道。
Tom又说道：“我们可以把MD5和一些元数据信息，比如revision等放到一个无数据描述文件中，并打包在应用程序中。比如，在Java领域，所有的.jar, .war 和.ear文件都允许将这些信息放在 META-INF/MANIFEST.MF文件中。”
“嗯，这也是种好办法。但是，如果能让应用程序自我识别，不是更加直接吗？”Joe说道。
大家一脸迷惑地看着Joe，不明白他在说什么。
“我们让应用程序告诉我们它是什么版本，不就是自我识别嘛！”Joe笑道，“其实，这也不是什么新鲜技术，你们一看就明白了。”
Joe打开笔记本，接上了21寸的显示器，把他们使用的持续集成和发布管理工具Cruise的界面打开了，如图1所示。
图1 软件自我识别版本信息
接着说道：“这是我们用的Cruise服务器的信息页面。从这里，我们可以很清楚地看到这个应用程序的运行环境信息，比如Java虚拟机的版本、操作系统类型与版本、服务器存储空间信息、应用程序的数据库版本、license信息等等。更重要的是第一行的服务器版本信息。(1)表示其对外发布的版本号；(2) 和(3)可能对应着其revision号。”
“我从来没有看过这个页面。”Bob和Alice同时说道。
“这里面的信息很多啊。”Steven有点儿兴奋的说道，“如果我们的应用程序也可以这么做的话，我在这方面的运维工作会轻松很多，因为我可以把自动化部署脚本和自动化部署验证做得更强大一些。”
Alice说道：“我们的很多组件都以库文件方式存在，没有界面，那怎么办？”
“没有关系，”Steven说道：“界面对自动化运维来说是次重点，最重要的是可以通过一些API以命令行的方式来执行。”
Joe点头说道：“让我们来总结一下吧，看看接下来做什么。”
应用程序自识别的应用场景与实现方式
- 可以直接拿到应用程序安装文件或二进制包时
从它的元描述文件（metaData）中查看它来自于哪里。大多数现代二进制格式支持以某种方式做到这一点。比如，你使用Java时，所有的.jar, .war 和.ear文件都允许将这些信息放在 META-INF/MANIFEST.MF文件中。如果你是在Windows上，创造性地使用versioninfo resources也能达到同样的效果。注意：并不是说把这些信息放在文件名中，因为修改文件名的可能性很大。
- 当你无法拿到正在提供服务的二进制文件时（比如应用程序是一个远端服务，无法直接登录到服务器上）
最容易的方法是能够访问一个已知的URL或者服务调用API，它能够告诉你任何你想知道的信息。到底是什么样的UR或服务调用并不重要，只要需要知道这些信息的人知道怎么调用它就行了。
当然，API方式还有更多的用途。
比如，当你使用持续部署实践时，你在部署之前可以验证一下将要部署的二进制是不是正确的版本。
然后，你可以在部署之后，使用这个服务调用去验证应用程序的正确版本是不是启动并运行了。
如果有一个动态更新的系统信息显示板，你就可以快速且方便地看到哪个软件安装的是哪个版本，而不用去更新文档，因为文档很容易忘记更新。
最后，Steven和开发团队一起，商定了一些细节。
- 每个组件的文件名按照如下格式生成：组件名+对外版本号+版本库revision号。
- 每次构建中生成该文件的MD5码。
- 在打包时，将这些元数据信息写入元数据描述文件。由于使用subversion版本控制库，而且，各组件的代码库会做迁移，所以元数据中，至少包含该构建版本对应的源代码svn库的URL和revision。
- 每个组件都提供统一的API调用whoami，要求返回形如NAME0-PUBLIC VERSION:svn URL@revision的自识别信息。
- Steven根据上述信息，更新部署脚本，以及自动化部署验证测试。
