淘宝技术这十年(淘宝技术大学校长解密淘宝十年)
淘宝技术这十年(淘宝技术大学校长解密淘宝十年)
子柳 著
ISBN 978-7-121-20191-2
2013年5月出版
定价:45.00元
252页
16开
编辑推荐
√有熠熠生辉的技术变迁
√有饱含智慧的产品演进
√有叱咤风云的牛人生涯
√有令人捧腹的圈内趣事
无论你是程序员、架构师、产品经理还是运维人员,甚至只要你身处IT圈,这本书都有无穷无尽的 看点,让你大呼过瘾之余,深受启发,进而陷入沉思,不由开始细数自己所在公司的技术发展历程……
内容提要
任何网站的发展都不是一蹴而就的。它在发展过程中会遇到各种各样的问题和业务带来的压力。正是这些问题和压力推动着技术的进步和发展,而技术的发展反过来又会促进业务的更大提升。如今淘宝网的流量排名已是全球前15名、国内前3名,其系统服务器也从一台发展到万台以上。
本 书从工程师的角度讲述淘宝这个超大规模互联网系统的成长历程,及其所有主动和被动的技术变革的前因后果。书中有幕后故事、产品经验、架构演进、技术启蒙, 也有大牛成长、业内八卦、失败案例、励志故事。全书文风流畅,有技术人员特有的幽默感;内容积极正面,有现场感,全部是作者亲身经历。
目录
第0章 引言:光棍节的狂欢 / 1
淘宝网不就是一个网站吗?是的,但淘宝网不是一个简单的网站,它的规模排在全球前十几名,顶尖的网站需要顶尖的技术作为支撑。在用户享受淘宝的乐趣的背后,有哪些神秘的技术在支撑它呢?
第1章 个人网站 / 13
创建一个小小的网站需要什么技术?在群敌环伺的状况下怎么走出网站的第一步?淘宝网独特的文化和价值观又是怎么形成的?本章试图给你一个解读。
LAMP架构的网站 / 14
武侠和倒立文化的起源 / 20
第2章 个人网站的升级 / 23
小网站都想变大,变大总会遇到成长的烦恼,淘宝网的青春期有哪些烦心事?淘宝网的工程师用什么思路来解决遇到的问题?在解决问题之余,他们又用了哪些创新的手段来超越竞争对手?
数据库从mySQL到Oracle / 25
支付手段的创新——支付宝 / 28
交流方式的创新——淘宝旺旺 / 29
第3章 企业级Java网站 / 33
给 一个网站更换开发语言,这种事情想想都恐怖,淘宝网在2004年就从PHP语言转换成了Java语言,这是怎么做到的?一个企业级的Java系统应该采用 什么样的架构?归纳网站遇到的问题,主要是对性能、容量和成本的控制,这有哪些通用的解决方案?在技术实力得到提升之后,淘宝网的哪些业务有了突飞猛进的 发展?哪些业务又会遇到技术的障碍?
脱胎换骨的升级——更换开发语言 / 34
坚若磐石——围绕性能、容量和成本的进化 / 41
第4章 创造技术 / 33
用 钱能解决的问题都不是问题,我们花钱可以购买更好的机器和更好的服务。但当你变成业内最强之后,你的问题就会独特到没有人碰到过,这就意味着你必须自己动 手解决问题。幸运的是,淘宝网的发展很快,不幸的是,淘宝网遇到了前所未有的问题。于是,淘宝网被迫开始走向了技术创新的道路。而技术的创新和业务的创新 到底又是谁推动了谁?
淘宝文件系统——TFS / 53
淘宝KV缓存系统——Tair / 64
第5章 分布式电子商务操作系统 / 77
在 飞速发展的背后,隐患已经埋下。在技术架构的制约下,团队协作越来越艰难,代码越来越臃肿,开发的效率越来越低,新业务的需求越来越多,老业务的压力眼看 就要超过系统的容量了。这时候,架构该做怎样的调整?又一次的脱胎换骨,欲火重生。重生后,在分布式的电子商务操作系统下,我们才敢举办一次又一次的“双 十一”活动。
服务化 / 78
中间件 / 88
高性能服务框架HSF / 91
消息中间件Notify / 95
分布式数据访问层TDDL / 99
Session框架 / 107
开放平台 / 111
第6章 我在淘宝这八年 / 129
作为淘宝技术的亲历者,我不经意间见证了一段伟大的历史,这段历史,从高层看波澜壮阔,从底层看妙趣横生。我不是高层,这里记录的是发生在底层的一些事。
第7章 牛P列传 / 167
前 面讲述了技术和业务是怎么互相促进、共生发展的。与此类似,企业和个人也是这样一个关系:一个水平很高的人,找不到合适的平台,就难以发挥自己的价值;一 个蓬勃发展的企业,找不到合适的人才,其前景也会堪忧。幸运的是,在淘宝网蓬勃发展的过程中,出现了一大批业内顶尖的高手,他们推动了淘宝的发展,淘宝也 让他们实现了个人的价值。接下来让我们一起看看那些人、那些事。
正明——集团核心系统高级研究员 / 168
正祥——淘宝高级研究员,OceanBase项目负责人 / 180
毕玄——集团核心系统资深技术专家 / 191
放翁——淘宝开放平台项目负责人 / 198
吴翰清——阿里云集团信息安全中心高级安全专家 / 210
云铮——数据平台与产品部资深技术专家 / 218
小马——淘宝UED前端通用平台高级技术专家 / 225
淘宝传奇工程师多隆的程序世界 / 236
精彩节摘
第0章
引言:光棍节的狂欢
淘宝网不就是一个网站吗?是的,但淘宝网不是一个简单的网站,它的规模排在全球前十几名,顶尖的网站需要顶尖的技术作为支撑。在用户享受淘宝的乐趣的背后,有哪些神秘的技术在支撑它呢?
“时 间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动——“淘宝 双11购物狂欢节”。小美打开早已收藏好的宝贝——某品牌的雪地靴,飞快的点击购买、付款,一回头发现3000双靴子已被抢购一空。
小美跳起来,大叫一声“欧耶!”
小 美不知道,就在11日零点过后的这一分钟里,全国有342万人和她一起涌入淘宝商城。当然,她更不知道,此时此刻,在淘宝杭州的一间办公室里,灯火通明, 这里是“战时指挥部”,淘宝技术部的一群工程师正紧盯着网站的流量和交易数据。白板上是他们刚刚下的赌注,赌谁能最准确地猜中流量峰值和全天的交易总额。 他们的手边放着充足的食物和各类提神的饮料。
一阵急促的电话铃声响起,是前线部门询问数据的,工程师大声报着:“第1分钟,进入淘宝商城的 会员有342万人”。过了一会儿,工程师主动拿起电话:“交易额超过1亿元人民币了,现在是第8分钟。”接下来,“第21分钟,刚突破2亿元”,“第32 分钟,3亿元了”,“第1个小时,4.39亿元”。这些数据随后出现在微博上,引起了一片惊呼。
“完蛋了!”突然有人大喝一声,所有的眼睛 都紧张地盯着他,只见他挠挠头,嘿嘿地笑道“我赌得少了,20亿元轻松就能过了,我再加5亿元。”他跑到白板边上把自己的赌注擦去,写上25,接下来有人 写上28,有人写上30,有人到微博上开下盘口,同事们纷纷转载下注。接下来的这24个小时,战时指挥部的工程师们都不能休息,他们盯着网站的各种监控指 标,适时调整机器,增减功能。顶住第一波高峰之后,这些人开始忙里偷闲地给自己买东西,大家互相交流着哪家买的移动硬盘靠谱,哪家衣服适合自己的女朋友, 不时有人哀嚎宝贝被人抢了、信用卡额度不够了。同时,旁边白板上的赌注越下越大。
11月11日,这个棍子最多的日子被网民自我调侃地变成了 一个节日——“光棍节”,而淘宝网又用疯狂的折扣促销给它赋予了另外一个意义——“购物狂欢节”。2011年11月11日这一天,淘宝商城与淘宝网交易额 之和突破52亿元人民币,这个数字是“购物天堂”香港一天零售总额8.5亿元的6倍。
网民感受到的是疯抢的喜悦,而网站的技术人员感受到的 却是“压力山大”。就如同你家办酒席,宴请左邻右舍,这个办起来容易,倘若宴请十里八乡所有的人,吃饭的人固然开心,但却不是一般人家能够办得起来的。能 办得起来如此盛宴者,需要强大的财力和物力、组织能力、技术实力(例如做这么多菜,你的炒锅一定要是“分布式的”、“可复制的”、“可扩展的”,洗菜和切 菜要有“工作流引擎”,跑堂的要计算一下最优路径,甚至连厨房的下水道都要重新设计)。
淘宝能够举办如此盛宴,网站的技术实力可见一斑。至 2011年年底,淘宝网拥有全国最大的Hadoop分布式计算集群之一(2000多个节点,CPU:24000 core,Memory:48000GB,Disk:24000块),日新增数据50TB,有40PB海量数据存储,分布在全国各地80多个节点的CDN 网络,支撑的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索,另外,还拥有自主研发的文件存储系统和缓存系统,以及Java 中间件和消息中间件系统,这一切组成了一个庞大的电子商务操作系统。从商业数据上看,Amazon的财报显示2011年完成了大约 480亿美元的交易额,eBay的2011年财报显示全年完成了大约600亿美元的交易额(不包括其独立的汽车交易平台)。无论从交易额、商品数量还是从 同比增速等指标上看,淘宝网均远超于此,是目前全球最大的电子商务平台。(由于淘宝是非上市公司,未公布2011年的业绩,以上内容来自淘宝网技术副总裁 @_行癫的微博)。
以上这些技术数据可能已经让一些人产生了不适的感觉,为了让更多的人读懂这本书,我们用下面这段文字描述一下小美访问淘宝网的时候,从技术的角度来看,网站上发生了什么样的事情。
参考资料来自《你刚才在淘宝上买了一件东西》(来自阿里员工卡特)
作者简介
子 柳:本名赵超,2004年加入淘宝网,取花名子柳。历任开发工程师、项目经理、产品经理、测试经 理,2009年随着淘宝系统的大规模重构和人才的迅速扩张,创办了“淘宝技术大学”,培养内外部工 程师众多,人称“校长”。2011年将培训中的内容写成文章发表,遂一发不可收拾,总结了淘宝十年 的技术之路,乃成本书。
媒体评论
相 信这本书将掀起IT技术型企业的寻根热潮,因为阅读本书让我们深深体会到“以史为鉴”在互联网时 代的当下意义。创业公司的无暇顾及,大牌公司的千头万绪,都抵不过一次美妙的现身说法。这本书让整个IT界一起陷入思考:我们的十年曾如何走过,我们的十 年将如何走过,或是我们的十年正在走过?
子柳是个能人,在淘宝各个阶段各个角落都曾留下各种姿态的身影。也正因为是历次技 术沿革及产品诞生的亲历者,他的记录与解读,可以让读者置身于那段波澜壮阔的淘宝技术岁月;更能切中要害,精准 捕捉到最值得总结和回味的技术关键点及创新闪光点。子柳更是个趣人,知交满淘宝,内幕岂能少?一桩桩尘封往事,在这样一位称职“耳目”的妙笔下再现昔日荣 光,局外人方有幸品历当年甘苦,共享经 验启迪。
前言
这 是一本好玩的书,从前面两章看,主要是讲故事;从后面两章看,主要是讲人物;从中间几章看,主要是讲技术。我在写作的过程中,把部分章节的内容放到了我的 博客上,有人看了说很励志,有人看了说对技术有帮助,有人看了说对产品有帮助,有人看了说对创业有帮助,有人看了说其中的内容特别逗,现在我也不知道这是 人文读物还是技术书了。
其实技术书很容易写成催眠的读物,对于这本书,我一开始就没有当作技术书来写,最早是我写给自己看的。在2011年 年底的时候,我突然意识到在淘宝度过了七年的时光,七年说长不长,说短不短,回忆起来有些往事历历在目,有些却已开始模糊。为了给自己留点回忆,我就开始 记录自己这几年的故事,七年之间发生了很多有趣的事情,越写越多,写着写着,我就希望能够挖掘更多的内容了。当时我还担任着“淘宝技术大学”的校长,这给 我的写作提供了得天独厚的优势,我可以听不同的人讲淘宝技术所有的事情。于是我就开始凭记忆去写淘宝在过去几年的技术进展,再去找当事人求证内容的细节。 然后又由于有些当事人实在太有料了,我干脆把跟他交谈的内容也整理出来,当作《牛P列传》来呈现给读者(淘宝的技术人员以P级来定义,牛P就是很高级别的 专家)。至此,本书包含了三种行文格式的内容:一个是笔者自己经历的美好时光,一个是淘宝技术的发展历程,一个是那些牛人的牛事。希望能够通过这三个维 度,让读者对淘宝的技术有一个概括的了解,进而通过淘宝对互联网的技术有一个概览。
书名取为《淘宝技术这十年》,口气有点大了,但我很难用 一个更确切的名字来概括本书的内容,淘宝在这十年里的技术是很难用一本书来写完的,对于笔者不太熟悉的领域(例如运维、云计算、大数据),没敢着墨太多, 书中主要围绕网站的业务和系统架构之间的关系展开论述。我希望能够抛砖引玉,未来有更多的人来写《淘宝运维这十年》《淘宝数据这十年》……
写 完本书之后,再回过头来读,我意识到自己经历了一场伟大的变革,这个时代把电子商务推到了一个浪潮之巅,我是这个浪潮中的一滴水珠,我无意描述这场伟大的 浪潮,只希望通过一滴水珠映射出浪潮底下的故事。这不是淘宝官方的史书,我不具备这样的高度和视野,这只是一个小人物的所见所想。
这本书写 得很轻松,我大概花了3个月时间就写完了,这主要得益于其中的事情都是笔者亲身经历的。同时,这种写作状态也直接导致了本书的行文风格天马行空,一边讲业 务,一边讲技术,时不时地还做一些不太高明的点评。从2011年年底开始写,到2012年年初,书中的主要内容都有了,接下来就是求证各种细节的过程,这 比初稿要艰难很多,我访谈了书中提到的几乎所有人,有时候还要请他们帮忙补充一些内容,由于人员众多,这里不一一列出,在此一并表示感谢——亲,这是我们 共同的作品。
这里特别要提出感谢的是我的师父岳旭强,他比我更早加入淘宝,行文的时间线是根据他给我讲的故事来写的。他现在是蘑菇街的 CTO,属于自己创业。他离开淘宝也是触动我写本书的原因之一,铁打的营盘,流水的兵,虽然淘宝的人员流失率总体较低,但是每离开一个人就失去了一段故 事,如果我现在不写,未来也许很难呈现出过往的这一切了。老天选择了我做技术,选择了我能写点文字,选择了我经历淘宝的发展,选择了我做淘宝技术大学的校 长,似乎也选择了我要把这些故事交代给读者。
其次要感谢对本书贡献最大的一个人,书里的故事是我在“淘宝技术大学”给学员上课时讲的,但每 个故事的第一个听众都不是技术人员,也不是淘宝员工,是我家里的CEO,她经常被我当作学生,听我讲一个多小时的课,然后给我指出各种不足。同时,为了让 我安心写作,她也赦免了我很多家务活,谢谢亲。
最后要感谢本书的编辑张春雨先生,他花费了很大精力帮我修改书稿,在他的帮助下,本书从网文变得像一本书了。另外,虽然本书经历了笔者和编辑的多次修改,但这如同开发软件一样,上线之后发现bug的概率还是很大的,如有错漏之处,敬请读者不吝赐教。
子柳@杭州
2013年4月1日