《大型网站技术架构：核心原理与案例分析》读书笔记-扩展性

随需而变：网站的可扩展架构

扩展性(Extensibility)

指对现有系统影响最小的情况下，系统功能可持续扩展或提升的能力。表现在系统 基础设施稳定不需要经常变更，应用之间较少依赖和耦合，对需求变更可以敏捷响应。 它是系统架构设计层面的开闭原则（对扩展开放，对修改关闭），架构设计考虑未来功能 扩展，当系统增加新功能时，不需要对现有系统的结构和代码进行修改。

伸缩性(Scalability)

指系统能够通过增加（减少）自身资源规模的方式增强（减少）自己计算处理事务 的能力。如果这种增减是成比例的，就被称作线性伸缩性。在网站架构中，通常指利用 集群的方式增加服务器数量、提高系统的整体事务吞吐能力。

1.构建可扩展的网站架构

幵发低耦合系统是软件设计的终极目标之一，这一目标驱动着软件开发技术的创新 与发展，从软件与硬件的第一次分离到操作系统的诞生；从汇编语言到面向过程的开发 语言，再到面向对象的编程语言；从各种软件工具集到各种开发框架；无不体现着降低 软件系统耦合性这一终极目标。可以说，度量一个开发框架、设计模式、编程语言优劣 的重要尺度就是衡量它是不是让软件幵发过程和软件产品更加低耦合。

显而易见，低耦合的系统更容易扩展，低耦合的模块更容易复用，一个低耦合的系 统设计也会让开发过程和维护变得更加轻松和容易管理。

笔者认为，软件架构师最大的价值不在于掌握多少先进的技术，而在于具有将一个 大系统切分成#个低耦合的子模块的能力，这些子模块包含横向的业务模块，也包含纵 向的基础技术模块。这种能力一部分源自专业的技术和经验，还有一部分源自架构师对 业务场景的理解、对人性的把握、甚至对世界的认知。

设计网站可扩展架构的核心思想是模块化，并在此基础之上，降低模块间的耦合性， 提高模块的复用性。我们在本书第6章讨论过网站通过分层和分割的方式进行架构伸缩，分层和分割也 是模块化设计的重要手段，利用分层和分割的方式将软件分割为若干个低耦合的独立的 组件模块，这些组件模块以消息传递及依赖调用的方式聚合成一个完整的系统。在大型网站中，这些模块通过分布式部署的方式，独立的模块部署在独立的服务器 (集群）上，从物理上分离模块之间的耦合关系，进一步降低耦合性提高复用性。

模块分布式部署以后具体聚合方式主要有分布式消息队列和分布式服务。

2.利用分布式消息队列降低系统耦合性

如果模块之间不存在直接调用，那么新增模块或者修改模块就对其他模块影响最小, 这样系统的可扩展性无疑更好一些。

2.1 事件驱动架构

事件驱动架构（Event Driven Architecture )••通过在低縄合的模块之间传输事件消息，以保持模块的松散耦合，并借助事件消息的通信完成模块间合作，典型的EDA架构就是 操作系统中常见的生产者消费者模式。在大型网站架构中，具体实现手段有很多，最常 用的是分布式消息队列，如图7.1所示。

消息队列利用发布一订阅模式工作，消息发送者发布消息，一个或者多个消息接收 者订阅消息。消息发送者是消息源，在对消息进行处理后将消息发送至分布式消息队列， 消息接受者从分布式消息队列获取该消息后继续进行处理。可以看到，消息发送者和消 息接受者之间没有直接耦合，消息发送者将消息发送至分布式消息队列即结束对消息的 处理，而消息接受者只需要从分布式消息队列获取消息后进行处理，不需要知道该消息 从何而来。对新增业务，只要对该类消息感兴趣，即可订阅该消息，对原有系统和业务 没有任何影响，从而实现网站业务的可扩展设计。

消息接受者在对消息进行过滤、处理、包装后，构造成一个新的消息类型，将消息 继续发送出去，等待其他消息接受者订阅处理该消息。因此基于事件（消息对象）驱动 的业务架构可以是一系列的流程。由于消息发送者不需要等待消息接受者处理数据就可以返回，系统具有更好的响应 延迟；同时，在网站访问高峰，消息可以暂时存储在消息队列中等待消息接受者根据自 身负载处理能力控制消息处理速度，减轻数据库等后端存储的负载压力。

2.2分布式消息队列

队列是一种先进先出的数据结构，分布式消息队列可以看作将这种数据结构部署到 独立的服务器上，应用程序可以通过远程访问接口使用分布式消息队列，进行消息存取 操作，进而实现分布式的异步调用，基本原理如图7.2所示。

消息生产者应用程序通过远程访问接口将消息推送给消息队列服务器，消息队列服 务器将消息写入本地内存队列后立即返回成功响应给消息生产者。消息队列服务器根据 消息订阅列表査找订阅该消息的消息消费者应用程序，将消息队列中的消息按照先进先出（FIFO)的原则将消息通过远程通信接口发送给消息消费者程序。

目前开源的和商业的分布式消息队列产品有很多，比较著名的如Apache ActiveMQ 等，这些产品除了实现分布式消息队列的一般功能，在可用性、伸缩性、数据一致性、 性能和可管理性方面也做了很多改善。

在伸缩性方面，由于消息队列服务器上的数据可以看作是被即时处理的，因此类似 于无状态的服务器，伸缩性设计比较简单。将新服务器加入分布式消息队列集群中，通 知生产者服务器更改消息队列服务器列表即可。

在可用性方面，为了避免消费者进程处理缓慢，分布式消息队列服务器内存空间不 足造成的问题，如果内存队列已满，会将消息写入磁盘，消息推送模块在将内存队列消 息处理完以后，将磁盘内容加载到内存队列继续处理。

为了避免消息队列服务器宕机造成消息丢失，会将消息成功发送到消息队列的消息 存储在消息生产者服务器，等消息真正被消息消费者服务器处理后才删除消息。在消息 队列服务器宕机后，生产者服务器会选择分布式消息队列服务器集群中其他的服务器发布消息。

分布式消息队列可以很复杂，比如可以支持ESB(企业服务总线）、支持SOA (面向 服务的架构）等；也可以很简单，比如用MySQL也可以当作分布式消息队列：消息生产 者程序将消息当作数据记录写入数据库，消息消费者程序査询数据库并按记录写入时间 戳排序，就实现了一个事实上的分布式消息队列，而且这个消息队列使用成熟的MySQL 运维手段，也可以达到较高的可用性和性能指标。

3.利用分布式服务打造可复用的业务平台

使用分布式服务是降低系统耦合性的另一个重要手段。如果说分布式消息队列通过 消息对象分解系统耦合性，不同子系统处理同一个消息；那么分布式服务则通过接口分 解系统耦合性，不同子系统通过相同的接口描述进行服务调用。

巨无霸应用系统带来如下几点问题。

a.编译、部署困难：对于网站开发工程师而言，打包构建一个巨型应用是一件痛苦 的事情，也许只是修改了一行代码，输入build命令后，抽完一支烟，回来一看，还在 building；又去喝了一杯水，回来一看，还在building;又去7—次厕所，回来一看，还在 building;好不容易build结束，一看编译失败，还得重来

b.代码分支管理困难：复用的代码模块由多个团队共同维护修改，代码merge的时 候总会发生冲突。代码merge —般发生在网站发布的时候，经常和发布过程中出现的其他问题互相纠结在一起，顾此失彼，导致每次发布都要拖到半夜三更。

c.数据库连接耗尽：巨型的应用、大量的访问，必然需要将这个应用部署在一个大 规模的服务器集群上，应用与数据库的连接通常使用数据库连接池，以每个应用10个连 接计，一个数百台服务器集群的应用将需要在数据库上创建数千个连接。数据库服务器 上，每个连接都会占用一些昂贵的系统资源，以至于数据库缺乏足够的系统资源进行一 般的数据操作。                                           •

d.新增业务困难：想要在一个已经如乱麻般的系统中增加新业务，维护旧功能，难 度可想而知：一脚踩进去，发现全都是雷，什么都不敢碰。许多新工程师来公司半年了， 还是不能接手业务，因为不知道水有多深。于是就出现这种怪现象：熟悉网站产品的“老 人”忙得要死，加班加点干活；不熟悉网站产品的新人一帮忙就出乱，跟着加班加点； 整个公司热火朝天，加班加点，却还是经常出故障，新产品迟迟不能上线。

解决方案就是拆分，将模块独立部署，降低系统耦合性。拆分可以分为纵向拆分和 横向拆分两种。纵向拆分：将一个大应用拆分为多个小应用，如果新增业务较为独立，那么就直接 将其设计部署为一个独立的Web应用系统。横向拆分：将复用的业务拆分出来，独立部署为分布式服务，新增业务只需要调用 这些分布式服务，不需要依赖具体的模块代码，即可快速搭建一个应用系统，而模块内 业务逻辑变化的时候，只要接口保持一致就不会影响业务程序和其他模块。如图7.4所示。

纵向拆分相对较为简单，通过梳理业务，将较少相关的业务剥离，使其成为独立的 Web应用。而对于横向拆分，不但需要识别可复用的业务，设计服务接口，规范服务依 赖关系，还需要一个完善的分布式服务管理框架。

3.1 大型网站分布式服务的需求与特点

对于大型网站，除了 Web Service所提供的服务注册与发现，服务调用等标准功能， 还需要分布式服务框架能够支持如下特性。

负载均衡:对热门服务，比如登录服务或者商品服务，访问量非常大，服务需要部署在一个集 群上。分布式服务框架要能够支持服务请求者使用可配置的负载均衡算法访问服务，使 服务提供者集群实现负载均衡。

失效转移:可复用的服务通常会被多个应用调用，一旦该服务不可用，就会影响到很多应用的 可用性。因此对于大型网站的分布式服务而言，即使是很少访问的简单服务，也需要集 群部署，分布式服务框架支持服务提供者的失效转移机制，当某个服务实例不可用，就 将访问切换到其他服务实例上，以实现服务整体高可用。

高效的远程通信:对于大型网站，核心服务每天的调用次数会达到数以亿计，如果没有高效的远程通 信手段，服务调用会成为整个系统性能的瓶颈。

整合异构系统:由于历史发展和组织分割，网站服务可能会使用不同的语言开发并部署于不同的平 台，分布式服务框架需要整合这些异构的系统。

对应用最少侵入:网站技术是为业务服务的，是否使用分布式服务需要根据业务发展规划，分布式服 务也需要渐进式的演化，甚至会出现反复，即使用了分布式服务后又退回到集中式部署，分布式服务框架需要支持这种渐进式演化和反复。当然服务模块本身需要支持可集中式 部署，也可分布式部署。

版本管理:为了应对快速变化的需求，服务升级不可避免，如果仅仅是服务内部实现逻辑升级， 那么这种升级对服务请求者而言是透明的，无需关注。但如果服务的访问接口也发生了 变化，就需要服务请求者和服务提供者同时升级才不会导致服务调用失败。企业应用系 统可以申请停机维护，同时升级接口。但是网站服务不可能中断，因此分布式服务框架 需要支持服务多版本发布，服务提供者先升级接口发布新版本的服务，并同时提供旧版 本的服务供请求者调用，当请求者调用接口升级后才可以关闭旧版本服务。

实时监控:对于网站应用而言，没有监控的服务是不可能实现高可用的。分布式服务框架还需 要监控服务提供者和调用者的各项指标，提供运维和运营支持。

3.2分布式服务框架设计

大型网站需要更简单更高效的分布式服务框架构建其SOA ( Service Oriented Architecture面向服务的体系架构）。据称Facebook利用Thrift ( 一个开源的远程服务调用框架）管理其分布式服务，服务的注册、发现及调用都通过Thrift完成，但对于一个大型网站可以使用的分布式服务框架，仅有Thrift还远远不够，遗憾的是，Facebook没有开源其基于Thrift的分布式服务框架。目前国内有较多成功实施案例的开源分布式服务框架是 阿里巴巴的 Dubbo (http://code.alibabatech.com/wiki/display/dubbo/Home/ )。我们以阿里巴巴分布式开源框架Dubbo为例，分析其架构设计，如图7.6所示。

服务消费者程序通过服务接口使用服务，而服务接口通过代理加载具体服务，具体 服务可以是本地的代码模块，也可以是远程的服务，因此对应用较少侵入：应用程序只 需要调用服务接口，服务框架根据配置自动调用本地或远程实现。服务框架客户端模块通过服务注册中心加载服务提供者列表（服务提供者启动后自 动向服务注册中心注册自己可提供的服务接口列表），査找需要的服务接口，并根据配置 的负载均衡策略将服务调用请求发送到某台服务提供者服务器。如果服务调用失败，客 户端模块会自动从服务提供者列表选择一个可提供同样服务的另一台服务器重新请求服 务，实现服务的自动失效转移，保证服务高可用。

Dubbo的远程服务通信模块支持多种通信协议和数据序列化协议，使用NIO通信框 架，具有较高的网络通信性能

4.利用幵放平台建设网站生态圈

大型网站为了更好地服务自己的用户，开发更多的增值服务，会把网站内部的服务 封装成一些调用接口开放出去，供外部的第三方开发者使用，这个提供开放接口的平台 被称作开放平台。第三方开发者利用这些开放的接口幵发应用程序（APP)或者网站，为更多的用户提供价值。网站、用户、第三方开发者互相依赖，形成一个网站的生态圈， 既为用户提供更多的价值，也提高了网站和第三方开发者的竞争能力和盈利能力。

开放平台是网站内部和外部交互的接口，外部需要面对众多的第三方开发者，内部 需要面对网站内诸多的业务服务。虽然每个网站的业务场景和需求都各不相同，但是开 放平台的架构设计却大同小异，如图7.7所示。

API接口：是幵放平台暴露给开发者使用的一组API，其形式可以是RESTful、 WebService、RPC等各种形式。

协议转换：将各种API输入转换成内部服务可以识别的形式，并将内部服务的返回 封装成API的格式。

安全：除了一般应用需要的身份识别、权限控制等安全手段，开放平台还需要分级 的访问带宽限制，保证平台资源被第三方应用公平合理使用，也保护网站内部服务不会 被外部应用拖垮。

审计：记录第三方应用的访问情况，并进行监控、计费等。

路由：将开放平台的各种访问路由映射到具体的内部服务。

流程：将一组离散的服务组织成一个上下文相关的新服务，隐藏服务细节，提供统 一接口供开发者调用。