【转】为什么很多看起来不是很复杂的网站，比如 Facebook、淘宝，都需要大量顶尖高手来开发？

先说你看到的页面上，最重要的几个：
【搜索商品】——这个功能，如果你有几千条商品，完全可以用select * from tableXX where title like %XX%这样的操作来搞定。但是——当你有10000000000（一百亿）条商品的时候，任何一个数据库都无法存放了，请问你怎么搜索？这里需要用到分布式的数据存储方案，另外这个搜索也不可能直接从数据库里来取数据，必然要用到搜索引擎（简单来说搜索引擎更快）。好，能搜出商品了，是否大功告成可以啵一个了呢？早着呢，谁家的商品出现在第一页？这里需要用到巨复杂的排序算法。要是再根据你的购买行为做一些个性化的推荐——这够一帮牛叉的算法工程师奋斗终生了。

【商品详情】——就是搜索完毕，看到你感兴趣的，点击查看商品的页面，这个页面有商品的属性、详细描述、评价、卖家信息等等，这个页面的每天展示次数在30亿以上，同样的道理，如果你做一个网站每天有10个人访问，你丝毫感觉不到服务器的压力，但是30亿，要解决的问题就多了去了。首先，这些请求不能直接压到数据库上，任何单机或分布式的数据库，承受30亿每天的压力，都将崩溃到完全没有幸福感，这种情况下要用到的技术就是大规模的分布式缓存，所有的卖家信息、评价信息、商品描述都是从缓存里面来取到的，甚至更加极致的一点“商品的浏览量”这个信息，每打开页面一次都要刷新，你猜能够从缓存里面来取吗？淘宝做到了，整个商品的详情都在缓存里面。

【商品图片】——一个商品有5个图片，商品描述里面有更多图片，你猜淘宝有多少张图片要存储？100亿以上。这么多图片要是在你的硬盘里面，你怎么去查找其中的一张？要是你的同学想拷贝你的图片，你需要他准备多少块硬盘？你需要配置多少大的带宽？你们的网卡是否能够承受？你需要多长时间拷贝给他？这样的规模，很不幸市面上已经没有任何商业的解决方案，最终我们必须自己来开发一套存储系统，如果你听说过google的GFS，我们跟他类似，叫TFS。顺便说一下，腾讯也有这样的一套，也叫TFS。

【广告系统】——淘宝上有很多广告，什么，你不知道？那说明我们的广告做的还不错，居然很多人不认为它是广告，卖家怎么出价去买淘宝的广告位？广告怎么展示？怎么查看广告效果？这又是一套算法精奇的系统。

【BOSS系统】——淘宝的工作人员怎么去管理这么庞大的一个系统，例如某时刻突然宣布某位作家的作品全部从淘宝消失，从数据库到搜索引擎到广告系统，里面的相关数据在几分钟内全部消失，这又需要一个牛叉的后台支撑系统。

【运维体系】——支持这么庞大的一个网站，你猜需要多少台服务器？几千台？那是零头。这么多服务器，上面部署什么操作系统，操作系统的内核能否优化？Java虚拟机能否优化？通信模块有没有榨取性能的空间？软件怎么部署上去？出了问题怎么回滚？你装过操作系统吧，优化过吧，被360坑过没，崩溃过没？这里面又有很多门道。

不再多写了，除了上面提到的这些，还有很多很多需要做的技术，当然并不是这些东西有多么高不可攀，任何复杂的庞大的东西都是从小到大做起来的，里面需要牛叉到不行的大犇，也需要充满好奇心的菜鸟，最后这一句，你当我是别有用心好了。

===============================华丽的分割线====================================

 

不单局限于网站，对于所有的软件来说，从软件工程学的角度来说，其需求大体可以分为功能性需求（functional Requirements）和非功能性需求（nonfunctional Requirements）两个大的部分。

功能性需求，一般是我们显性易见的，就是一般实现了什么功能，提供了什么服务，大体我认为问题中提到，或者我们日常所说的：“看起来复杂不复杂”，基本上都会是针对功能性需求而言的。如果拿google的搜索服务举例来说，那就是：
提供一个输入框， 提供一个按钮，用户在输入框里输入关键字，按了按钮以后，可以搜索出相应结果。
功能性需求，会因为不同的网站，不同的软件，不同的业务和使用目的，大相径庭，五花八门，不一而论。

非功能性需求，以下应用维基百科的定义（虽然有些晦涩和绕口，但是我认为是比较精到和准确的）

在系统工程及需求工程中，非功能性需求（Non-functional requirement）是指依一些条件判断系统运作情形或其特性，而不是针对系统特定行为的需求。和非功能性需求相对的是功能需求，后者会定义系统特定的行为或功能。非功能性需求也可以视为为了满足客户业务需求而需要符合，但又不在功能需求以外的特性。
一般会在系统设计（英语：Systems design）中详细列出实现功能需求的计划，而会在系统架构（英语：Systems architecture）中详细列出实现非功能性需求的计划。一般而言，功能需求会定义系统的行为，而非功能性需求会定义系统的特性。
非功能性需求一般会称为系统的“品质”，有时也会称为“限制”、“品质属性”、“品质目标”、“品质属性”、“品质服务需求”或“非行为性的需求”。有许多非功能性需求的英文都是以“ilitiy”结尾，例如稳定性（stability）及可移植性（portability），因此非功能性需求有时也称为“ilities”。
非功能性需求可以分为以下的二类：
运行品质（Execution qualities），可以在系统运作时观察到的品质，例如保安性及易用性等。
发展品质（Evolution qualities），和软件系统结构及开发过程有关的品质，例如软件可测试性（英语：software testability）、可维护性、可扩展性、可伸缩性（scalability）等

非功能性需求一般是隐性的，容易被菜鸟程序员，设计师们忽略。非功能性需求不同于功能性需求，它在不同的网站，软件上，拥有一定的共性，就例如@子柳 提到的海量文件存储的问题上，淘宝，腾讯，google都遇到了一样的问题，研发了类似的解决方案（TFS,TFS和GFS）。
非功能性需求的分类方法较多，并没有业界通行和一致的标准，但是大多数殊途同归，名称/叫法以及分类方法上可能略有差异，但是其含义和指向一般是趋向一致的，我简单介绍一下我一般较多采用的分类：

1. 性能/容量：性能和容量比较利于理解，包括像需要支持的用户的数量啊（尤其是峰值的并发用户数量），用户能够接受的响应时间啊，数据规模啊（例如@子柳 提到的百万级的惊人数据规模，上亿的文件存储啦等等。这里小小纠正一下@子柳 的一个观点，百万级的数据支撑，还是有一些商业数据库产品可以支持的，TPC-C/TPC-D以及新一代的业界性能测试标准中还有千万级数据规模的测试项目，也有数据库厂商报名参加的，当然，对于淘宝这样的业务模式和实际情况/要求来说，性价比和实用性可能确实就比较低了）
2. 可靠性/可用性/可复原性： 可靠性之与在规定的一段时间和条件下软件维持其功能服务以及性能水平的能力有关的一组属性（可用性是另外一种说法）。例如说我们要求系统7x24小时运行，全年持续运行故障停运时间累计不能超过10小时等等，都属于这方面的要求。 可复原性与在是发生错误和故障后重建其性能水平并恢复直接受影响数据的能力。例如支付宝需要保证如果在交易提交失败以后，需要保证回滚，不能这头银行的钱没有付成功，那头却显示付款成功或者反之这头银行扣款了，那头在改变交易状态的时候缺因为冗塞或者其他原因导致交易还是未付款状态。
3. 可维护性/可管理性：包括系统在无人工干预条件下的稳定性，自排错能力，可测试性都属于这个范畴。故障的可排查能力，系统的修正，升级，备份，恢复机制以及方便与否，都属于这个范畴。这通常会极大决定系统的运行维护成本及维护难度。
4. 安全：包括传输加密，存储加密，可破解性，以及各种未被授权的用户行为如何防范和控制，都是安全范畴，这里的安全不单针对外部普通用户，也针对内部不同级别的权限用户的的控制。小到如何防范和处理用户在输入框里输入特殊字符来获得设计者未曾预料的结果，大到防范外部黑客和内部内鬼。安全很多时候不单依赖技术实现，同时非常依赖相应的制度和审计。
5. 易用性：好吧，这个话题现在最热了，这可能是非功能性需求中现在唯一被高亮出来，被各种人等都关注，都拿出来说事的一个领域了。易用性设计现在已经上升到了一个新的高度，叫做人机体验，UE设计，虽然现在UE到底是划分在功能性需求还是非功能性需求上，尚有一些争议，但是主流观点（包括我自己）都认为，这是非功能性需求的一个典型部分。
6. 数据一致性：包括数据的编码和语言，冗余数据的一致性要求（含时间要求）等等。例如为了性能的考虑，数据库整体设计未采用巴斯克范式，而采用了第二或者第三范式的要求来设计，一些信息（例如用户注册信息），可能同时存在于系统的多个地方（例如多个表中），当发生注册信息变更时，如何保证多处地方记录的信息都被修改，以及这个全部修改的时限要求是多少等等都是这个范畴的内容。
7. 系统/环境 条件及限制：现有的软硬件条件，平台的条件，网络的条件都属于这个范畴。典型的例如很多移动互联网产品，必须要考虑移动网络的带宽条件，终端运算性能和能力，以及其移动网络稳定性等等。

事实上，从我的经验来看，一般来说，很多软件项目及产品，其在非功能性需求上的成本，难度和工作量，是要超过功能性需求的。在特定的软件领域，例如网站（尤其是淘宝，facebook这样海量用户规模的网站），金融（银行证券），电信领域，其非功能性需求实现的重要性，工作量，技术难度要远远远远大于功能性需求的实现。

而且，功能性的需求的实现，其实在大多数情况下，更依赖于业务的高手（或者好的产品经理）而不是技术的高手，而非功能性需求的实现，恰恰是挑战技术高手的重要课题。

一个最典型的极限非功能性需求的例子就是电信的计费系统，其实基本功能很简单，获取通话时长，按照费率公式算个钱出来，但是放到海量的用户，实时的计费要求中来看，这是一个极具技术挑战的活。

还有一个经典的案例是，中国某地方性银行（注意仅仅是地方性的银行），想要引入一个柜面服务的系统，找到了新家坡的一个厂商，他们在东南亚银行业有很多案例，而且功能设计非常完善合理和先进。但是这家地方性银行引入这个系统以后，2周之内发行了几十万张信用卡，这系统就顶不住崩溃了。这就是典型的功能性需求实现完美，但是非功能性缺陷的例子。

从我的经验来看，一般来说，非功能性需求中，性能/容量，以及安全的要求，一般是技术挑战最多，内涵最丰富，成本最高，最值得关注的领域，当然，现在易用性（UE）也是一个极度收到重视的领域。

有志于架构师取向的IT技术人员，非功需求实现的领域，是一个必须关注，必须熟悉的领域。

而本问题最大的根源在于，只看到了网站功能性需求的部分，而没有注意到非功的部分，对于非专业的IT技术人员来说，这很正常，但是对于IT技术人员来说，是需要认真关注的必修课。

最后，举一个可能不太恰当的例子来说明一下：
100米的路，从这头到那头，看起来是件很简单的事情。
但是要求10秒之内要从这头跑到那头，这就需要田径高手了。
如果还要求，10秒之内跑完，要连着反复跑好几趟，路上可能有积水湿滑障碍物，那我觉得就只有去找博尔特刘翔之类的顶尖高手去聊聊了

转载自：http://www.zhihu.com/question/20303645?group_id=46788351#answer-1324063

谢谢浏览！