各大网站架构总结笔记(续)
前段时间给大家介绍过各大网站架构总结笔记(MySpace、Flickr、YouTube、PlentyOfFish、WikiPedia),喜欢架构的朋友可以去看看。这两天,我又陆续从互联网上整理了几个优秀网站的架构信息,并将部分文章整理到了自己的另一个博客,今天把它们拿出来分享给大家,希望能给大家带来一点启发,另外,欢迎一起讨论,有比较好的架构信息大家也可以拿出来一起分享一下:)
1、Google架构
老大当然要放第一位,Google的架构非我们这些平凡之辈一两天能够了解的,这里也只是大概地整理一下:
--GFS,Google的强有力的面向大规模数据密集型应用的、可伸缩的分布式文件系统
--MapReduce,Google的分布式并行计算系统,GFS存储数据,而MapReduce则是以最快最可靠的方式处理数据。
--BigTable,Google基于GFS和MapReduce之上的用来存储结构化数据的解决方案,有了它,不仅可以存储结构化的数据,而且可以更好的管理和做出负载均衡决策。
2、优酷网架构
在国内,上不了YouTube,只能看看优酷了,说实在优酷在国内算是做的不错了,视频加载速度明显比土豆什么的要快,那就看看他的架构吧:
--自建的一个模块化的CMS系统,前端十分灵活
--mysql数据库从单台MySQL服务器(Just Running)到简单的MySQL主从复制、SSD优化、垂直分库、水平sharding分库,解决数据库服务器的灵活横向扩展。
--为了避免内存拷贝和内存锁,没有(很少)用内容缓存。
--最核心的是构建了比较完善的CDN网络,就近原则,让你看视频时从离你最近的服务器上获取视频信息,所以我们看优酷比土豆要快,原因就在这里。
3、Twitter架构
twitter,怎么说呢,说他简单么还真简单,但又是那么复杂,真是纠结。话说这140个字的鼻祖让国内的某某某非常风骚,算了不跑题了,说说他的架构吧:
--平台比较广泛:
- Ruby on Rails:web应用程序的框架
- Erlang:通用的面向并发的编程语言,开源项目地址:http://www.erlang.org/
- AWStats:实时日志分析系统:开源项目地址:http://awstats.sourceforge.net/
- Memcached:分布式内存缓存组建
- Starling:Ruby开发的轻量级消息队列
- Varnish:高性能开源HTTP加速器
- Kestrel:scala编写的消息中间件,开源项目地址:http://github.com/robey/kestrel
- Comet Server:Comet是一种ajax长连接技术,利用Comet可以实现服务器主动向web浏览器推送数据,从而避免客户端的轮询带来的性能损失。
- libmemcached:一个memcached客户端
- 使用mysql数据库服务器
- Mongrel:Ruby的http服务器,专门应用于rails,开源项目地址:http://rubyforge.org/projects/mongrel/
- Munin:服务端监控程序,项目地址:http://munin-monitoring.org/
- Nagios:网络监控系统,项目地址:http://www.nagios.org/
--细化memcached,同时建立向量缓存Vector Cache、行缓存Row Cache、碎片缓存Fragmeng Cache、缓存池Page Cache
--给力的消息队列,用Ruby写的一个分布式队列 Starling
4、Yupoo网站架构
一个试图做国内最好的图片服务提供商,虽然和Flickr还有点差距,但也不错了,话说搞图片和视频的是很烧服务器和带宽的,在国内这么贵的带宽也挺不容易的,好了,一起看看他的架构吧:
--Squid,这个貌似做图片缓存挺好使的,而且还是分布式的,可以硬盘命中和内存命中,速度都还不错。
--
全球商品品种最多的网上零售商和全球第2大互联网公司,貌似很风光嘛,那架构一定很犀利的,下面一起来看看:
--平台,Linux、oracle、C++、Perl、Mason、Java、Jboss、Servlets
--Dynamo Key-Value存储架构,有关Dynamo的更多信息请参看:http://baike.baidu.com/view/2982765.html?fromTaglist
好了,先就介绍这几个,有空再找几个看看,说实在看架构比看阿凡达刺激,多看看有益身心健康。
最后欢迎大家有空逛逛我的青藤屋,玩blog没人气太没意思了。。。大家晚安了!