各大网站架构总结笔记(转)

原文： http://www.cnblogs.com/sxwgf/archive/2011/08/16/2141632.html

整理得比较清晰，就转载了 

1、MySpace架构

回顾了MySpace的成长史，真是让人惊叹，他的架构基本经历了五个里程碑，每个阶段都是显得那么仓促，那么无奈，那么坎坷，又是那么的精彩，网站为了生存只能想尽一切办法去优化系统架构，让用户满意。他给我们后人的启示是要尽早发现系统的瓶颈，设计师在设计时要有前瞻思想，否则今后有可能也要这样仓促的升级你的产品。
这里是“五个里程碑”的具体介绍。

2、Flickr网站架构总结

Flickr.com 是网上最受欢迎的照片共享网站之一，还记得那位给Windows Vista拍摄壁纸的Hamad Darwish吗？他就是将照片上传到Flickr，后而被微软看中成为Vista壁纸御用摄影师。

--Pair of ServerIron's做负载均衡

--Squid做html和照片的缓存

--Memcached做数据缓存

--尤其是mysql数据库采用master-slave和shards技术实现了mysql数据库的负载均衡，解决了数据库的瓶颈，达到了数据库横向扩展的目标。

这里是他详细的架构描述

3、YouTube架构总结

这个貌似在国内是被和谐的，要fan qiang才能访问（不知到底何故）。看看他的架构：
--NetScaler用于负载均衡和静态内容缓存

--使用lighttpd作为Web服务器来提供视频服务

--CDN在多个地方备份内容，这样内容离用户更近的机会就会更高

--使用Google的BigTable，一个分布式数据存储、数据库分成shards，不同的用户指定到不同的shards、使用BigTable将图片备份到不同的数据中心，代码查看谁是最近的

这里是YouTube详细架构描述

4、PlentyOfFish架构总结

这个我觉的最神奇了，一个人每天花2个小时，可以维护一个每天3000W PV的，而且是基于.NET的（呵呵，终于给我们.net程序员一个好榜样了）。简述他的架构：
--用Microsoft Windows操作系统作为服务器

--使用ASP.NET技术

--使用IIS作为Web容器

--用Akamai CDN来缓存网页

--用Foundry ServerIron 来做负载均衡

--sqlserver采用master-slave架构，两台负责read操作，master那台负责写操作

--所有的request数据都使用了gzip压缩

PlentyOfFish详细架构描述

5、WikiPedia架构总结

维基百科（Wikipedia）是一个基于Wiki技术的全球性多语言百科全书协作计划，同时也是一部在网际网路上呈现的网路百科全书，其目标及宗旨是为全人类提供自由的百科全书──用他们所选择的语言来书写而成的，是一个动态的、可自由和的全球知识体。

--GeoDNS让用户能够访问离他地域最近的Web服务器

--用LVS实现负载均衡

--用Lighttpd做图片服务器

--使用MediaWiki软件

--大量缓存（Cache），Squid 作为反向代理，Memcached做数据缓存

--用Mysql数据库集群

WikiPedia架构详细介绍

6、Google架构

老大当然要放第一位，Google的架构非我们这些平凡之辈一两天能够了解的，这里也只是大概地整理一下：

--GFS，Google的强有力的面向大规模数据密集型应用的、可伸缩的分布式文件系统

--MapReduce，Google的分布式并行计算系统，GFS存储数据，而MapReduce则是以最快最可靠的方式处理数据。

--BigTable，Google基于GFS和MapReduce之上的用来存储结构化数据的解决方案，有了它，不仅可以存储结构化的数据，而且可以更好的管理和做出负载均衡决策。

Google架构的详细信息

7、优酷网架构

在国内，上不了YouTube，只能看看优酷了，说实在优酷在国内算是做的不错了，视频加载速度明显比土豆什么的要快，那就看看他的架构吧：

--自建的一个模块化的CMS系统，前端十分灵活

--mysql数据库从单台MySQL服务器（Just Running）到简单的MySQL主从复制、SSD优化、垂直分库、水平sharding分库，解决数据库服务器的灵活横向扩展。

--为了避免内存拷贝和内存锁，没有（很少）用内容缓存。

--最核心的是构建了比较完善的CDN网络，就近原则，让你看视频时从离你最近的服务器上获取视频信息，所以我们看优酷比土豆要快，原因就在这里。

优酷网架构的详细信息

8、Twitter架构

twitter，怎么说呢，说他简单么还真简单，但又是那么复杂，真是纠结。话说这140个字的鼻祖让国内的某某某非常风骚，算了不跑题了，说说他的架构吧：

--平台比较广泛：

• Ruby on Rails：web应用程序的框架
• Erlang：通用的面向并发的编程语言，开源项目地址：http://www.erlang.org/
• AWStats：实时日志分析系统：开源项目地址：http://awstats.sourceforge.net/
• Memcached：分布式内存缓存组建
• Starling：Ruby开发的轻量级消息队列
• Varnish：高性能开源HTTP加速器
• Kestrel：scala编写的消息中间件，开源项目地址：http://github.com/robey/kestrel
• Comet Server：Comet是一种ajax长连接技术，利用Comet可以实现服务器主动向web浏览器推送数据，从而避免客户端的轮询带来的性能损失。
• libmemcached：一个memcached客户端
• 使用mysql数据库服务器
• Mongrel：Ruby的http服务器，专门应用于rails，开源项目地址：http://rubyforge.org/projects/mongrel/
• Munin：服务端监控程序，项目地址：http://munin-monitoring.org/
• Nagios：网络监控系统，项目地址：http://www.nagios.org/

--细化memcached，同时建立向量缓存Vector Cache、行缓存Row Cache、碎片缓存Fragmeng Cache、缓存池Page Cache

--给力的消息队列，用Ruby写的一个分布式队列 Starling

Twitter架构的详细信息

9、Yupoo网站架构

一个试图做国内最好的图片服务提供商，虽然和Flickr还有点差距，但也不错了，话说搞图片和视频的是很烧服务器和带宽的，在国内这么贵的带宽也挺不容易的，好了，一起看看他的架构吧：

--Squid，这个貌似做图片缓存挺好使的，而且还是分布式的，可以硬盘命中和内存命中，速度都还不错。

--MogileFS图片存储

--mysql分库设计，垂直分库，水平sharding，跨库关联查询

--透明的缓存设计

Yupoo架构的详细信息

10、Amazon网站架构

这个Amazon从小书店开始现在成了全球商品品种最多的网上零售商和全球第2大互联网公司，貌似很风光嘛，那架构一定很犀利的，下面一起来看看：

--平台，Linux、oracle、C++、Perl、Mason、Java、Jboss、Servlets

--Dynamo Key-Value存储架构，有关Dynamo的更多信息请参看：http://baike.baidu.com/view/2982765.html?fromTaglist

Amazon架构详细信息