基于互联网三高架构综述：高并发、高性能、高可用
基于互联网三高架构综述：高并发、高性能、高可用
张子怡1
（1.石家庄铁道大学，河北省石家庄市，050043）
摘 要：面向互联网的三高系统，最关注的软件质量属性是：性能、可用性、伸缩性、扩展性、安全性。而构建此类系统，最常见的架构模式有：横向分层、纵向分割、分布式化、集群化、使用缓存、使用异步模式、使用冗余、自动化（发布、部署、监控）。互联网三高架构：高并发、高性能、高可用，简称三高（3H),随着移动应用与网站等多种互联网产品的业务和应用不断壮大,访问用户不断增大,一般的技术架构势必无法承受大量用户高并发访问带来的压力。本文章对于互联网架构的高并发、高性能、高可用进行了介绍以及分析。
关键词：互联网；高并发；高性能；高可用；互联网分层架构;技术实践
Overview of Internet-based three high architectures: high concurrency, high performance, and high availability
Zhang Ziyi1
(1.Shijiazhuang Railway University,Shijiazhuang City Hebei Province,050043）
Abstract: For the Internet-oriented three-high system, the most concerned software quality attributes are: performance, usability, scalability, scalability, and security. To build such systems, the most common architectural patterns are: horizontal layering, vertical segmentation, distributed, clustered, using cache, using asynchronous mode, using redundancy, automation (release, deployment, monitoring). The three high architectures of the Internet: high concurrency, high performance, and high availability, referred to as three highs (3H). Unable to withstand the pressure of high concurrent access by a large number of users. This article introduces and analyzes the high concurrency, high performance, and high availability of the Internet architecture.
Key words:Internet;High concurrency;High performance;High availability;Internet Layered Architecture;Technical practice
0引言
随着各互联网大厂业务需求的井喷式增长，业务架构早已不是个新词。企业业务的高速发展、业务体量的不断增长，业务场景的日益复杂化与差异化，以及不断持续变化的业务需求，都对平台化的架构演进以及系统设计提出了更多的挑战和更高的要求。架构师在进行系统设计时需兼顾业务功能的实现以及同时保证系统的高并发、高可用、高性能。
1 大型网站的特点
用户多，分布广泛；大流量，高并发；海量数据，服务高可用；安全环境恶劣，易受网络攻击；功能多，变更快，频繁发布；从小到大，渐进发展；以用户为中心；免费服务，付费体验
1.1大型网站架构目标
高性能：提供快速的访问体验。
高可用：网站服务一直可以正常访问。
可伸缩：通过硬件增加/减少，提高/降低处理能力。
扩展性：方便地通过新增/移除方式，增加/减少新的功能/模块。
安全性：提供网站安全访问和数据加密、安全存储等策略。
敏捷性：随需应变，快速响应。
图1 大型网站架构目标
2 高并发
接下来将介绍在JavaEE架构程序设计中所参与分析与学习的项目实例JSP+Spring+SpringMVC+Hibernate实现的校园失物招领网站，系统没有使用常用的SSM或者SSH框架，而是已Spring+SpringMVC+Hibernate三个框架结合来完成。
2.1 什么是高并发
高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。
响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间。
吞吐量：单位时间内处理的请求数量。
QPS：每秒响应请求数。在互联网领域，这个指标和吞吐量区分的没有这么明显。 并发用户数：同时承载正常使用系统功能的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数。
2.2高并发的关心的问题
高并发是现在互联网分布式框架设计必须要考虑的因素之一，它是可以保证系统能被同时并行处理很多请求，对于高并发来说，它的指标有：响应时间及吞吐量。
系统对进来的请求反应的时间，比如你打开一个页面需要1秒，那么这1秒就是响应时间。吞吐量是指每秒能处理多少请求数量，好比你吃饭，每秒能吃下多少颗米饭。秒查询率：秒查询率是指每秒响应请求数，和吞吐量差不多。并发用户数：同时承载正常使用系统功能的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数。
2.3高并发的宏观⽬标
高并发绝不意味着只追求⾼性能。从宏观角度看，⾼并发系统设计的⽬标有三个：⾼性能、⾼可⽤，以及⾼可扩展。就是所谓的“三⾼”，三⾼不是孤⽴的，⽽是相互⽀撑的。⾼性能：性能体现了系统的并⾏处理能⼒，在有限的硬件投⼊下，提⾼性能意味着节省成本。同时，性能也反映了⽤户体验，响应时间分别是100毫秒和1秒，给⽤户的感受是完全不同的。⾼可⽤：表⽰系统可以正常服务的时间。另外，如果系统只能做到90%可⽤，也会⼤⼤拖累业务。⾼扩展：表⽰系统的扩展能⼒，流量⾼峰时能否在短时间内完成扩容，更平稳地承接峰值流量，⽐如双11活动、明星离婚等热点事件。
2.4如何提升系统的并发能力
互联网分布式架构设计，提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up）与水平扩展（Scale Out）。
垂直扩展：提升单机处理能力。垂直扩展的方式又有两种：
增强单机硬件性能，例如：增加CPU核数如32核，升级更好的网卡如万兆，升级更好的硬盘如SSD，扩充硬盘容量如2T，扩充系统内存如128G；
提升单机架构性能，例如：使用Cache来减少IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间。
在互联网业务发展非常迅猛的早期，如果预算不是问题，强烈建议使用“增强单机硬件性能”的方式提升系统并发能力，因为这个阶段，公司的战略往往是发展业务抢时间，而“增强单机硬件性能”往往是最快的方法。不管是提升单机硬件性能，还是提升单机架构性能，都有一个致命的不足：单机性能总是有极限的。所以互联网分布式架构设计高并发终极解决方案还是水平扩展。水平扩展：只要增加服务器数量，就能线性扩充系统性能。水平扩展对系统架构设计是有要求的，如何在架构各层进行可水平扩展的设计，以及互联网公司架构各层常见的水平扩展实践，是本文重点讨论的内容。
3高性能架构
性能直接影响用户的感官体验，访问一个系统，如果超过5秒没有响应，绝大数用户会选择离开。那么有哪些因素会影响系统的性能呢？
l 用户网络环境
l 请求/响应的数据包大小
l 业务系统 CPU、内存、磁盘等性能
l 业务链路的长度
l 下游系统的性能
l 算法实现是否高效
高性能的架构是以用户为中心，提供快速的网页访问体验，主要参数有较短的响应时间、较大的并发处理能力、较高的吞吐量与稳定的性能参数。可分为前端优化、浏览器优化、应用层优化、代码层优化与存储层优化：
l 前端优化：网站业务逻辑之前的部分。
l 浏览器优化：减少 HTTP 请求数，使用浏览器缓存，启用压缩，CSS JS 位置，JS 异步，减少 Cookie 传输；CDN 加速，反向代理。
l 应用层优化：处理网站业务的服务器。使用缓存，异步，集群。
l 代码优化：合理的架构，多线程，资源复用（对象池，线程池等），良好的数据结构，JVM调优，单例，Cache 等。
l 存储优化：缓存、固态硬盘、光纤传输、优化读写、磁盘冗余、分布式存储（HDFS）、NoSQL 等。
4 高可用架构
大型网站应该在任何时候都可以正常访问，正常提供对外服务。因为大型网站的复杂性，分布式，廉价服务器，开源数据库，操作系统等特点，要保证高可用是很困难的，也就是说网站的故障是不可避免的。如何提高可用性，就是需要迫切解决的问题。首先，需要从架构级别考虑，在规划的时候，就考虑可用性。行业内一般用几个 9 表示可用性指标，比如四个 9（99.99），一年内允许的不可用时间是 53 分钟。不同层级使用的策略不同，一般采用冗余备份和失效转移解决高可用问题：
l 应用层：一般设计为无状态的，对于每次请求，使用哪一台服务器处理是没有影响的。一般使用负载均衡技术（需要解决 Session 同步问题）实现高可用。
l 服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。
l 数据层：冗余备份（冷，热备[同步，异步]，温备），失效转移（确认，转移，恢复）。数据高可用方面著名的理论基础是 CAP 理论。（持久性，可用性，数据一致性[强一致，用户一致，最终一致]）
4.1熔断，提供过载保护
所谓过载保护，是指负载超过系统的承载能力时，系统会自动采取保护措施，确保自身不被压垮。
熔断就是在系统濒临崩溃的时候，立即中断服务，从而保障系统稳定避免崩溃。它类似于电器中的“保险丝”，当电流过大的时候，“保险丝”会先被烧掉，断开电流，以免电路过热烧毁电器引起火灾。
4.2限流，提供过载保护
限流的原理跟熔断有点类似，都是通过判断某个条件来确定是否执行某个策略。但是又有所区别，熔断触发过载保护，该节点会暂停服务，直到恢复。限流，则是只处理自己能力范围之内的请求，超量的请求会被限流。限流算法主要有：计数器限流、滑动窗口限流、令牌桶限流、漏桶限流。
5结语
高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
提高系统并发能力的方式，方法论上主要有两种：垂直扩展（Scale Up）与水平扩展（Scale Out）。前者垂直扩展可以通过提升单机硬件性能，或者提升单机架构性能，来提高并发性，但单机性能总是有极限的，互联网分布式架构设计高并发终极解决方案还是后者：水平扩展。
