大型网站技术架构
1. 大型网站架构演化发展历程
1）初始阶段的网站架构
应用程序、数据库、文件等所有资源都在一台服务器上。Linux+PHP+Apache+MySQL。
2）应用服务和数据服务分离
使用三台服务器：应用服务器、文件服务器、数据库服务器。
3）使用缓存改善网站性能
4）使用应用服务器集群改善网站的并发处理能力
5）数据库读写分离
6）使用反向代理和CDN加速网站响应
7）使用分布式文件系统和分布式数据库系统
8）使用NoSQL和搜索引擎
9）业务拆分
垂直拆分，分而治之，按业务拆分成不同的应用。
10）分布式服务
水平拆分，提取公共组件，中台战略。
2. 大型网站架构模式
1）分层
水平切分：应用层、服务层、数据层。
2）分割
垂直切分：按业务切分。
3）分布式
分布式应用和服务、分布式数据和存储、分布式计算、分布式锁、分布式文件系统。
4）集群
5）缓存
6）异步
7）冗余
8）自动化
9）安全
3. 大型网站核心架构要素
软件架构：系统的各个重要组成部分及其关系构成了系统的架构，这些组成部分可以是具体的功能模块，也可以是非功能的设计与决策，他们相互关系组成一个整体，共同构成了软件系统的架构。
1）性能
性能优化，前端：浏览器缓存、页面压缩、CDN缓存、反向代理缓存。
后端 ：缓存、异步、集群、多线程、改善内存管理、数据库索引、SQL优化。
2）可用性
高可用的手段：冗余、负载均衡集群。
3）伸缩性
关注点：非功能性需求（技术需求）。
衡量架构伸缩性的主要标准：是否可以用多台服务器构建集群，是否容易向集群中添加新的服务器，新服务器是否可以提供和原服务器无差别的服务，集群可容纳的总的服务器数量是否有限制。
4）扩展性
关注点：功能需求。
衡量架构扩展性的主要标准：增加新的业务产品时，是否可以实现对现有产品透明无影响，不需要改动或者很少改动既有业务功能就可以上线新产品，不同产品之间是否很少耦合，一个产品改动对其他产品功能无影响。
可扩展的主要手段：事件驱动架构（消息队列）、分布式服务（将业务和可复用服务分离开，通过分布式服务框架调用）。
5）安全性
4. 网站的高性能架构
1）性能测试
性能测试是性能优化的前提和基础，也是性能优化结果的检查和度量标准。
A. 性能测试的主要指标：响应时间、并发数、吞吐量、性能计数器
响应时间：指应用执行一个操作需要的时间，包括从发出请求开始到收到最后响应数据所需要的时间。
并发数：同时提交请求的数量。
吞吐量：单位时间内系统处理的请求数量。TPS（每秒事务数）、QPS（每秒查询数）。
吞吐量QPS（TPS）= 并发数/平均响应时间
当并发数到一定数量时，吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。
性能计数器：描述服务器或操作系统性能的一些数据指标。系统负载System Load：当前正在被CPU执行和等待被CPU执行的进程数目总和，是反映系统忙闲程度的重要指标。内存使用、CPU使用、磁盘与网络I/O。
B. 性能测试方法：性能测试、负载测试、压力测试、稳定性测试
2）Web前端性能优化
A. 浏览器访问优化
减少http请求：合并CSS、合并JavaScript、合并图片。
使用浏览器缓存静态资源文件：设置http头中的Cache-Control和Expires属性；静态资源文件变化需要及时应用到客户端浏览器时，可通过改变文件名实现，生成一个新的JS文件并更新HTML文件中的引用；需要批量更新时，不要一次全部更新，应该一个文件一个文件更新，并有一定的随机间隔时间，以免用户浏览器突然大量缓存失效，集中更新缓存，造成服务器负载骤增、网络堵塞的情况。
启用压缩：HTML、CSS、JavaScript文件启用GZip压缩，在服务器端对文件进行压缩，在浏览器端对文件解压缩。
B. CDN加速
缓存静态资源。
C. 反向代理
安全功能，缓存静态内容、动态内容，负载均衡。
3）应用服务器性能优化
A. 分布式缓存
网站性能优化第一定律：优先考虑使用缓存优化性能。
缓存适用：读写比很高，很少变化的数据。
缓存预热：最好在缓存系统启动时就把热点数据加载好，这个缓存预加载手段叫作缓存预热（warm up）。
缓存穿透：对策是将不存在的数据也缓存起来（其value值为null）。
B. 异步操作
使用消息队列缩短响应时间。
使用消息队列进行消峰。
C. 使用集群
D. 代码优化
多线程：使用多线程的原因主要是IO阻塞和多CPU。
启动线程数=[任务执行时间/（任务执行时间-IO等待时间）] * CPU内核数
最佳启动线程数和CPU内核数量成正比，和IO阻塞时间成反比。
解决线程安全的主要手段：将对象设计成无状态对象（对象无成员变量或成员变量也是无状态对象），使用局部对象（在方法内部创建对象），并发访问资源时使用锁。
资源复用：单例和对象池。
4）存储性能优化
5. 网站的高可用架构
1）网站可用性度量
网站年度可用性指标=（1-网站不可用时间/年度总时间）*100%
2个9是基本可用，网站年度不可用时间小于88小时；3个9是较高可用，网站年度不可用时间小于9小时；4个9是具有自动恢复能力的高可用，网站年度不可用时间小于53分钟；QQ服务99.99%可用；5个9是极高可用性，网站年度不可用时间小于5分钟。
2）高可用的网站架构
网站的高可用架构设计的主要目的：保证服务器硬件故障时，服务依然可用，数据依然保存并能够被访问。
实现高可用架构的主要手段：数据和服务的冗余备份及失效转移。
分层架构的可用性：应用层的服务器、服务层的服务器、数据层的服务器。
3）高可用的应用
应用层主要处理网站应用的业务逻辑，也称业务逻辑层。
通过负载均衡进行无状态服务的失效转移。
应用服务器集群的Session管理。
通常采用独立部署的Session服务器（集群）统一管理Session。
4）高可用的服务
可复用的服务模块为业务产品提供基础公共服务。
也可以通过负载均衡进行高可用服务的失效转移。
实现高可用服务的几个手段：分级管理（高优先级、低优先级）、超时设置、异步调用、服务降级、幂等性设计。
5）高可用的数据
保证数据高可用的手段主要是：数据备份、失效转移机制。
数据备份是保证数据有多个副本，任意副本的失效都不会导致数据的永久丢失。
失效转移机制保证当一个数据副本不可访问时，可以快速切换访问数据的其他副本，保证系统可用。
CAP原理：一个提供数据服务的存储系统无法同时满足数据一致性（Consistency）、数据可用性（Availibility）、分区容忍性（Partition Tolerance，系统具有跨网络分区的伸缩性）这三个条件。
在大型网站中，通常会选择强化分布式存储系统的可用性（A）和伸缩性（P），而在某种程度上放弃一致性（C）。只要求最终一致性。
6. 网站的伸缩性架构
网站的伸缩性是指不需要改变网站的软硬件设计，仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力。
1）网站架构的伸缩性设计
怎样设计网站，使它具有伸缩性？
A. 不同功能进行物理分离实现伸缩
B. 单一功能通过集群实现伸缩
当一头牛拉不动车的时候，不要去寻找一头更强壮的牛，而是用两头牛来拉车。
集群伸缩性分为：应用服务器集群伸缩性和数据服务器集群伸缩性。
2）应用服务器集群的伸缩性设计
通过负载均衡实现应用服务器伸缩性。
负载均衡算法：轮询（Round Robin，RR）、加权轮询（Weighted Round Robin，WRR）、随机（Random）、最少连接（Least Connections）、源地址散列（Source Hashing）。
3）分布式缓存集群的伸缩性设计
分布式缓存集群中不同服务器缓存的数据各不相同，缓存访问请求必须要先找到缓存对应的服务器，才能访问。伸缩性设计的主要目标：新加入缓存服务器后，整个缓存服务器集群中已经缓存的数据尽可能还被访问到。
目前比较好的算法是一致性Hash算法。
计算机的任何问题都可以通过增加一个虚拟层来解决。
4）数据存储服务器集群的伸缩性设计
A. 关系数据库集群的伸缩性设计
简单伸缩：数据复制
数据分库、分片：MyCat
B. NoSQL数据库的伸缩性设计
放弃以关系代数为基础的结构化查询语言（SQL）和事务一致性保证（ACID），强化高可用性和可伸缩性。
7. 网站的可扩展架构
开闭原则（对扩展开放，对修改关闭），当系统增加新功能时，不需要对现有系统的结构和代码进行修改。
1）构建可扩展的网站架构
网站可扩展架构的核心思想是模块化，并在此基础上，降低模块间的耦合性，提高模块的复用性。
2）利用分布式消息队列降低系统耦合性
事件驱动架构（Event Driven Architecture）
3）利用分布式服务打造可复用的业务平台
分布式服务框架Dubbo
4）可扩展的数据结构
使用NoSQL
8. 网站的安全架构
1）网站应用攻击和防御
A. XSS攻击
跨站点脚本攻击（Cross Site Script）：黑客通过篡改网页，注入恶意HTML脚本，在用户浏览网页时，控制用户浏览器进行恶意操作的一种攻击方式。
消毒是网站必备的XSS防攻击手段，对某些html危险字符转义，如“>”转义为“>”，“<”转义为“<”，可以防止大部分攻击。
B. 注入攻击
SQL注入攻击：
防御：请求参数消毒（通过正则表达式匹配），使用预编译手段绑定参数。
C. CSRF攻击
跨站点请求伪造
防御手段：识别请求者身份。
方法：表单Token、验证码、Referer check。
2）信息加密技术及密钥安全管理
A. 单向散列加密
单向散列算法：MD5、SHA。
B.对称加密
对称加密优点：算法简单，加解密效率高，系统开销小，适合对大量数据加密。
缺点：加解密使用同一个密钥，远程通信的情况下如何安全的交换密钥是个难题。
常用对称加密算法：DES算法、RC算法。
C. 非对称加密算法
非对称加密算法：RSA算法；
实际应用中，常常会混合使用对称加密和非对称加密，先使用非对称加密技术对对称密钥进行安全传输，然后使用对称加密技术进行信息加解密。
