系统架构 - 文章分类 - 一江水

大型、高负载网站架构和应用初探

摘要：主题：大型、高负载网站架构和应用初探时间：30-45分钟开题：163,sina,sohu等网站他们有很多应用程序都是PHP写的，为什么他们究竟是如何能做出同时跑几千人甚至上万同时在线应用程序呢? 挑选性能更好web服务器单台 Apache web server 性能的极限选用性能更好的web server TUX,lighttpd,thttpd … 动，静文件分开，混合使用应用程... 阅读全文

posted @ 2009-06-11 01:31 一江水阅读(470) 评论(0) 推荐(0) 编辑

大型网站的架构设计问题----大型高并发高负载网站的系统架构[转]

摘要：我在Cernet做过拨号接入平台的搭建，而后在Yahoo3721负载搜索引擎前端平台开发，又在猫扑处理过大型社区猫扑大杂烩的架构升级等工作，同时自己接触和开发过不少大中型网站的模块，因此在大型网站应对高负载和并发的解决方案上有一些积累和经验，可以和大家一起探讨一下。一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的... 阅读全文

posted @ 2009-06-11 01:30 一江水阅读(952) 评论(0) 推荐(0) 编辑

走出海量数据及访问量压力困境

摘要：随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等等方面都提出了更高的要求…… 本文中，我想通过几个国外大型IT企业及网站的成功案例，从Web技术人员角度探讨如何积极地应对国内大型网站即将面临的扩展（主要是技术方面，而较少涉及管理及营销等方面）矛盾。一、国外大型IT网站... 阅读全文

posted @ 2009-06-11 01:29 一江水阅读(410) 评论(0) 推荐(0) 编辑

适合MySQL master/slave模式的JDBC driver: lbpool

摘要：去年写了篇MySQL分表实现上百万上千万记录分布存储的批量查询设计模式的文章，思路是基于MySQL手动分表的。缺点是增加了程序的复杂性。现在有一个更简单和方便的现成的产品了，那就是lbpool lbpool适合以READ为主的应用场合。它的思路是建立在MySQL replication(master/slave)模式基础上的。当使用这种模式的时候，你的程序无需关心现在连接哪台服务器，它可以直接根... 阅读全文

posted @ 2008-07-11 01:12 一江水阅读(1004) 评论(0) 推荐(0) 编辑

memcached performance性能到底有多快

摘要：今天写了个Java程序从 MySQL 读入数据，然后写到LAN中另外一台Server的 memcached, 通过memcached Java Client API进行访问，瓶颈明显在 memcached 这边，MySQL 读入数据用我前几天改进的 limit 改进方法速度太快了，根本不用关心。程序测试当中发现memcached RPS最高达到20k，以为问题解决了，后来又发现是统计方法错误，最后... 阅读全文

posted @ 2008-07-11 01:11 一江水阅读(2047) 评论(0) 推荐(0) 编辑

MemCached java client 1.5.1 性能测试

摘要：去年，我曾经多 1.3.2 版本的 java client 很不满意，具体见 http://hi.baidu.com/jabber/blog/category/Memcached 今年，它推出了两个新版本，据说 02-28-2007 Released version 1.5.1 today. This is a fix for 1.5, which had a bug causing it ... 阅读全文

posted @ 2008-07-11 01:09 一江水阅读(616) 评论(0) 推荐(0) 编辑

memcachedb的性能测试

摘要：这几天听说了memcachedb memcachedb故名思义就是 memcached + bdb，是基于memcached Socket层和berkeley-db存储层结构的实现，是新浪互动社区技术团队2007年的一项重大的技术成果，现在应用于新浪互动社区多个产品线中，其中包括新浪博客等重头产品。能够实现任意memcache api的调用、数据实时落地以及主辅实时备份。初步感觉用处不大，... 阅读全文

posted @ 2008-07-11 01:08 一江水阅读(590) 评论(0) 推荐(0) 编辑

memcached 1.2 内存模型图

摘要：参考了以下资源和 memcached-1.2.5的源代码，画了一个memcached模型图，作为下面资源的补充。 slab内存模型的优点(减少碎片，速度快)和缺点(有空间浪费)下面的链接里面都有讲，Tim也没有什么新观点，就不重复了。参考资源： Current memcached memory management: http://lists.danga.com/pipermail/memc... 阅读全文

posted @ 2008-07-11 01:07 一江水阅读(342) 评论(0) 推荐(0) 编辑

memcached vs MySQL Memory engine table 速度比较

摘要：Performance compare: Tim http://hi.baidu.com/jabber/blog/category/Memcached memcached 1.2.0 MySQL 5.0.26 with MEMORY (heap) engine 记录数：50万~100万条单机，client 从另外一台机访问数据：单条 0.1K左右 memcached set/get... 阅读全文

posted @ 2008-07-11 01:06 一江水阅读(849) 评论(0) 推荐(0) 编辑

DRBD 提升了 MySQL 的集群能力

摘要：前几天 MySQL 站点上有个为期 12 天以 Scale-Out 为主题的活动，列举了不少成功的案例，每个页面有下方的这个图很引人注意：阅读全文

posted @ 2008-03-18 11:10 一江水阅读(329) 评论(0) 推荐(1) 编辑

37Signals 架构

摘要：如果没有 37signals ，恐怕也没有 RoR 的如此流行。37signals 对于很多 Geek 来说，是一家非常迷人的公司。他们是网络上的另类新星。阅读全文

posted @ 2008-03-18 10:53 一江水阅读(353) 评论(0) 推荐(1) 编辑

Yapache-Yahoo! Apache 的秘密

摘要：作为世界上 NO.1 的 Web 站点，Yahoo! 的 Web 服务器定有独到之处. 这也应该是很多 Web 技术人员关心的一个问题。阅读全文

posted @ 2008-03-18 10:38 一江水阅读(266) 评论(0) 推荐(2) 编辑

有关 Alexa 与 AOL 部署集群文件系统

摘要：Alexa 的相关数据 Alexa 超过 1000 台 Linux 服务器 Farm，每半年增长 300T 新数据。经过了同类产品的选型后，最后选择了 Ibrix 融合文件系统。阅读全文

posted @ 2008-03-18 10:32 一江水阅读(226) 评论(0) 推荐(0) 编辑

Yahoo！社区架构

摘要：旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加，但是看看各个网站"晒架构"也是个比较过瘾的事情。请参观并收藏这个页面：Architectures you've always wondered about。阅读全文

posted @ 2008-03-18 10:21 一江水阅读(383) 评论(0) 推荐(0) 编辑

性能扩展问题要趁早

摘要：与国内的 Web 2.0 Startup 技术人员相比，国外技术人员更乐于分享。分享也是一种更好的宣传手段，如果不是看到了这篇 Scaling an early stage startup，或许我就不会知道这位 Mark Maunder (他还有个中文名字：马孟德) 以及他的 FeedJet。阅读全文

posted @ 2008-03-18 10:16 一江水阅读(228) 评论(0) 推荐(0) 编辑

Digg 网站架构

摘要：Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了)，可以粗略分成三个部分：数据库服务器，Web 服务器，搜索服务器。阅读全文

posted @ 2008-03-18 10:10 一江水阅读(236) 评论(0) 推荐(0) 编辑

eBay 的数据量

摘要：作为电子商务领头羊的 eBay 公司，数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇 Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中，eBay 的存储主管 Paul Strong 对数据量做了一些介绍，管中窥豹，这些数据也给我们一个参考。阅读全文

posted @ 2008-03-18 10:08 一江水阅读(340) 评论(0) 推荐(0) 编辑

eBay 的应用服务器规模

摘要：前面我在《eBay 的数据量》中介绍了一些道听途说来的关于互联网巨头 eBay 服务器架构的信息，不过还缺了一点关键数据。在 Oracle 站点上的一篇题为 The eBay Global Platform and Oracle 10g JDBC 的白皮书，有能看到一些数据。阅读全文

posted @ 2008-03-18 10:07 一江水阅读(296) 评论(0) 推荐(0) 编辑

eBay 的数据库分布扩展架构

摘要：在过去的 Blog 中, 我(插一嘴：这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的)曾经介绍过《eBay 的应用服务器规模》 , 也介绍过《eBay 的数据量》，在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制"，这个地方其实没有说开来。阅读全文

posted @ 2008-03-18 10:02 一江水阅读(233) 评论(0) 推荐(0) 编辑

WikiPedia 技术架构学习分享

摘要：维基百科(WikiPedia.org)位列世界十大网站，目前排名第八位。这是开放的力量。来点直接的数据：峰值每秒钟3万个 HTTP 请求每秒钟 3Gbit 流量, 近乎375MB 350 台 PC 服务器(数据来源) 阅读全文

posted @ 2008-03-18 09:48 一江水阅读(328) 评论(0) 推荐(0) 编辑

文章分类 - 系统架构