学习笔记：十步构建大型网站架构

架构演变第一步：物理分离WebServer和数据库

架构演变第二步：增加页面缓存  
　　选择采用squid等类似的机制来将系统中相对静态的页面进行缓存

架构演变第三步：增加页面片段缓存  
　　采用ESI来做动态页面中相对静态的片段部分的缓存

架构演变第四步：数据缓存  
　　缓存技术，包括像Map数据结构、缓存算法、所选用的框架本身的实现机制等。

架构演变第五步： 增加WebServer  
　　1、如何让访问分配到这两台机器上，这个时候通常会考虑的方案是Apache自带的负载均衡方案，或LVS这类的软件负载均衡方案;  
　　2、如何保持状态信息的同步，例如用户session等，这个时候会考虑的方案有写入数据库、写入存储、cookie或同步session信息等机制等;  
　　3、如何保持数据缓存信息的同步，例如之前缓存的用户数据等，这个时候通常会考虑的机制有缓存同步或分布式缓存;  
　　4、如何让上传文件这些类似的功能继续正常，这个时候通常会考虑的机制是使用共享文件系统或存储等;
　　　　这一步涉及到了这些知识体系：
　　　　　　负载均衡技术(包括但不限于硬件负载均衡、软件负载均衡、负载算法、linux转发协议、所选用的技术的实现细节等)、
　　　　　　主备技术(包括但不限于ARP欺骗、linuxheart-beat等)、
　　　　　　状态信息或缓存同步技术(包括但不限于Cookie技术、UDP协议、状态信息广播、所选用的缓存同步技术的实现细节等)、
　　　　　　共享文件技术(包括但不限于NFS等)、
　　　　　　存储技术(包括但不限于存储设备等)

架构演变第六步：分库
　　这一步更多的是需要从业务上做合理的划分，以实现分库，具体技术细节上没有其他的要求;
　　但同时随着数据量的增大和分库的进行，在数据库的设计、调优以及维护上需要做的更好，因此对这些方面的技术还是提出了很高的要求的。

架构演变第七步：分表、DAL和分布式缓存
　　这一步涉及到了这些知识体系：
　　　　分表更多的同样是业务上的划分，技术上涉及到的会有动态hash算法、consistenthash算法等;
　　　　DAL涉及到比较多的复杂技术，例如数据库连接的管理(超时、异常)、数据库操作的控制(超时、异常)、分库分表规则的封装等;

架构演变第八步：增加更多的WebServer
　　1、Apache的软负载或LVS软负载等无法承担巨大的web访问量(请求连接数、网络流量等)的调度了，这个时候如果经费允许的话，会采取的方案是购买硬件负载平衡设备，
　　　　例如F5、Netsclar、Athelon之类的，如经费不允许的话，会采取的方案是将应用从逻辑上做一定的分类，然后分散到不同的软负载集群中;　　
　　2、原有的一些状态信息同步、文件共享等方案可能会出现瓶颈，需要进行改进，也许这个时候会根据情况编写符合网站业务需求的分布式文件系统等;
　　这一步涉及到了这些知识体系：
　　　　到了这一步，随着机器数的不断增长、数据量的不断增长和对系统可用性的要求越来越高，
　　　　这个时候要求对所采用的技术都要有更为深入的理解，并需要根据网站的需求来做更加定制性质的产品。

架构演变第九步：数据读写分离和廉价存储方案
　　在这个阶段可能会形成的架构演变是实现数据读写分离，同时编写一些更为廉价的存储方案，例如BigTable这种。
　　这一步涉及到了这些知识体系：
　　　　数据读写分离要求对数据库的复制、standby等策略有深入的掌握和理解，同时会要求具备自行实现的技术;
　　　　廉价存储方案要求对OS的文件存储有深入的掌握和理解，同时要求对采用的语言在文件这块的实现有深入的掌握。

架构演变第十步：进入大型分布式应用时代和廉价服务器群梦想时代
　　这一步涉及到了这些知识体系：
　　　　这一步涉及的知识体系非常的多，要求对通信、远程调用、消息机制等有深入的理解和掌握，
　　　　要求的都是从理论、硬件级、操作系统级以及所采用的语言的实现都有清楚的理解。

参考网页：

http://developer.51cto.com/art/201105/259452.htm
http://developer.51cto.com/art/201105/259452_1.htm