各大网站架构总结笔记(续)

前段时间给大家介绍过各大网站架构总结笔记(MySpace、Flickr、YouTube、PlentyOfFish、WikiPedia),喜欢架构的朋友可以去看看。这两天,我又陆续从互联网上整理了几个优秀网站的架构信息,并将部分文章整理到了自己的另一个博客,今天把它们拿出来分享给大家,希望能给大家带来一点启发,另外,欢迎一起讨论,有比较好的架构信息大家也可以拿出来一起分享一下:)

1、Google架构

老大当然要放第一位,Google的架构非我们这些平凡之辈一两天能够了解的,这里也只是大概地整理一下:

--GFS,Google的强有力的面向大规模数据密集型应用的、可伸缩的分布式文件系统

--MapReduce,Google的分布式并行计算系统,GFS存储数据,而MapReduce则是以最快最可靠的方式处理数据。

--BigTable,Google基于GFS和MapReduce之上的用来存储结构化数据的解决方案,有了它,不仅可以存储结构化的数据,而且可以更好的管理和做出负载均衡决策。

Google架构的详细信息

2、优酷网架构

在国内,上不了YouTube,只能看看优酷了,说实在优酷在国内算是做的不错了,视频加载速度明显比土豆什么的要快,那就看看他的架构吧:

--自建的一个模块化的CMS系统,前端十分灵活

--mysql数据库从单台MySQL服务器(Just Running)到简单的MySQL主从复制、SSD优化、垂直分库、水平sharding分库,解决数据库服务器的灵活横向扩展。

--为了避免内存拷贝和内存锁,没有(很少)用内容缓存。

--最核心的是构建了比较完善的CDN网络,就近原则,让你看视频时从离你最近的服务器上获取视频信息,所以我们看优酷比土豆要快,原因就在这里。

优酷网架构的详细信息

3、Twitter架构

twitter,怎么说呢,说他简单么还真简单,但又是那么复杂,真是纠结。话说这140个字的鼻祖让国内的某某某非常风骚,算了不跑题了,说说他的架构吧:

--平台比较广泛:

  • Ruby on Rails:web应用程序的框架
  • Erlang:通用的面向并发的编程语言,开源项目地址:http://www.erlang.org/
  • AWStats:实时日志分析系统:开源项目地址:http://awstats.sourceforge.net/
  • Memcached:分布式内存缓存组建
  • Starling:Ruby开发的轻量级消息队列
  • Varnish:高性能开源HTTP加速器
  • Kestrel:scala编写的消息中间件,开源项目地址:http://github.com/robey/kestrel
  • Comet Server:Comet是一种ajax长连接技术,利用Comet可以实现服务器主动向web浏览器推送数据,从而避免客户端的轮询带来的性能损失。
  • libmemcached:一个memcached客户端
  • 使用mysql数据库服务器
  • Mongrel:Ruby的http服务器,专门应用于rails,开源项目地址:http://rubyforge.org/projects/mongrel/
  • Munin:服务端监控程序,项目地址:http://munin-monitoring.org/
  • Nagios:网络监控系统,项目地址:http://www.nagios.org/

--细化memcached,同时建立向量缓存Vector Cache、行缓存Row Cache、碎片缓存Fragmeng Cache、缓存池Page Cache

--给力的消息队列,用Ruby写的一个分布式队列 Starling

Twitter架构的详细信息

4、Yupoo网站架构

一个试图做国内最好的图片服务提供商,虽然和Flickr还有点差距,但也不错了,话说搞图片和视频的是很烧服务器和带宽的,在国内这么贵的带宽也挺不容易的,好了,一起看看他的架构吧:

--Squid,这个貌似做图片缓存挺好使的,而且还是分布式的,可以硬盘命中和内存命中,速度都还不错。

--

全球商品品种最多的网上零售商和全球第2大互联网公司,貌似很风光嘛,那架构一定很犀利的,下面一起来看看:

--平台,Linux、oracle、C++、Perl、Mason、Java、Jboss、Servlets

--Dynamo Key-Value存储架构,有关Dynamo的更多信息请参看:http://baike.baidu.com/view/2982765.html?fromTaglist

Amazon架构详细信息

好了,先就介绍这几个,有空再找几个看看,说实在看架构比看阿凡达刺激,多看看有益身心健康。

最后欢迎大家有空逛逛我的青藤屋,玩blog没人气太没意思了。。。大家晚安了!

posted @ 2011-08-16 22:59  sxwgf  阅读(8001)  评论(25编辑  收藏  举报