领域知识层次

所谓的编程技能就是基本功，本身并不能产生太大的价值。但有太多的程序员浪费太多的时间在那些筑基的层次上，这是不对的。

什么是领域知识

计算机科学是一个面相当广泛的学科，有很多领域知识需要和值得我们深入研究，我们才能写出有价值的程序来。软件必须要和行业结合起来，要落地才有价值。仅仅研究编程技巧，不懂领域知识是写不出有价值的程序的。

计算机科学领域有很多，列举一些如下：

存储。块设备，文件系统，集群文件系统，分布式文件系统，光纤SCSI，iSCSI，RAID等。

网络。以太网，光纤网，蜂窝网络，WIFI，VLAN等。

计算机体系结构。主要就是CPU指令集。x86，ARM等。

USB协议。需要知道URB包。

PCI协议，PCI-E协议。现代计算机的外设都是PCI协议和PCI-E协议的。显卡现在全是通过 PCI-E协议连接到计算机上的。相对来说减少了很多需要学习的知识。搞虚拟化就需要深入掌握PCI协议。

图像处理。图像压缩，视频实时编码等。

此外还有3D游戏、关系数据库、NoSQL数据库、操作系统、分布式操作系统、编译原理和机器学习等。

了解领域知识的好处

了解这些领域知识，自然也会包括了解该领域现有的商用硬件、商用软件和开源软件。

很多时候，你要完成的工作，在业界已经有现成的工具了，这就意味着，你只要使用现成的工具就可以完成任务，并不需要进行开发。在这些时候，只需要组合现有的工具，写一些脚本就可以完成任务。比如要实现一个双向同步任务，只要找到了优秀的开源软件Unison，编写一下配置文件就圆满地完成了任务。不需要编写任何代码；比如要做高可用，只要使用Python调用几个开源软件就能轻松实现了。再比如编写安装程序或定制操作系统，只要知道了操作系统的领域知识，写几行脚本就可以轻松搞定。

而不具备这些领域知识的人，就可能不得不进行大量无谓的开发，甚至开发很久之后才发现，这根本就是一条死路。 

另外，扎实的领域知识，可以大大提高编程调试、查错的能力。知道编译器和编程语言运行时工作原理，就能快速根据编译错误和警告信息修改代码。

领域知识的层次

领域知识随着经验的积累，会逐步提高。领域知识可以分为一些层次，这些层次指的程序员对领域知识掌握程度的层级。

第0层——领域知识菜鸟

对领域知识没有多少认知，通过搜索引擎找到一些该领域的软件和硬件的介绍性文章，按照文章指示配置和使用软件。勉强能够使用现有软硬件。

第1层——领域知识行家

了解领域内常用硬件，深入掌握领域内常用软件的配置和使用技巧。能够使用现有软硬件熟练搭建解决方案，能够解决实际工作中遇到的种种问题。

第2层——领域知识专家

当你不仅仅掌握了该领域的软件和工具，知道怎么用，还知道其原理（知其然，也知其所以然），你就是该领域的知识专家了。

比如你知道网络协议的原理，你就能在网络出现问题时知道是哪里可能出现了问题，知道是mac冲突，ip冲突还是网络环路导致的问题。

比如你知道存储的原理，你就能知道为什么这种存储方式不适合虚拟化，以及哪一种存储方式适合虚拟化，另一种方式适合资料备份。

比如你知道PCI协议，你就能知道你怎样才能虚拟化一个硬件设备。

比如你知道网卡硬件协议，你就能模拟出一个虚拟机能正常使用的虚拟网卡。

比如你知道视频编码格式和原理，你就能知道什么视频格式占用带宽最少，什么视频格式占用CPU最少。

比如你了解IntelVT/Amd V指令集，你就能知道虚拟化是怎样实现的。

再比如你明白工作流其实就是状态机，在遇到复杂工作流程时，你就能知道怎样设计满足要求的工作流引擎。

第3层——科学家

你是领域知识专家，但你的知识都是来自于书本，来自于其他人的。如果你满足于当领域知识专家，你只能拾人牙慧，永远别想超越。别人的研究成果，未必愿意告诉你。当别人告诉你的时候，它可能已经发现了更新的理论，并且新一代产品可能马上就要发布了。

而科学家则是探索未知，勇于创新的人，是推动人类社会进步的人。

比如，传说思科的一位高管曾经半开玩笑地说过，如果思科停止了新技术的研发，华为就会找不着方向。这是在嘲笑华为只是处在领域知识专家的水平，只能山寨无法超越。我不知道华为的实际情况，但希望现在的华为已经走到了领跑者的位置。

比如，欧文·雅各布斯发现了CDMA码分多址的原理，并发现它在通讯上大有可为，组建了高通公司。高通公司主要以专利授权费为生，它雇佣了大量科学家在通讯领域展开研究。有人说高通是专利流氓，这些人是不明白知识的价值。在他们眼里，Windows的合理价格就应该是5元钱，一张光盘的价格。iPhone就应该是1000多元裸机的价格。高通是专利流氓，那你也流氓一个CDMA，LTE出来给我看看！

比如，X86芯片在设计上没有考虑虚拟化，因此会有所谓的虚拟化漏洞出现。就是说，一些CPU特权指令执行时，在虚拟机环境下不会抛出异常，因此就无法切换到Host。这样，X86芯片上就无法运行虚拟机。VmWare公司是由美国的几位科学家在1998年创建的。他们发现可以使用二进制翻译的技术，在X86计算机上运行虚拟机。Xen虚拟化软件也是几位科学家发明的。他们发现只要修改虚拟机操作系统和Host操作系统的内核，在需要执行虚拟化漏洞指令时直接调用Host的功能，就可以实现虚拟化，而且大大提高了虚拟机的运行性能。到后来，Intel为自己的芯片添加了IntelVT指令集，Amd为自己的芯片添加了AmdV指令集，弥补了虚拟化的漏洞，于是就有了KVM虚拟机软件，它直接用CPU硬件指令实现虚拟化。 KVM在执行CPU指令时，是直接在物理CPU上运行的，因此效率极高。但是，虚拟机运行虚拟外设时，就必须用软件模拟，因此虚拟机的IO访问速度很慢。再后来，IBM科学家RustyRussell，借鉴了Xen的研发经验，创建了VirtIO技术。就是在虚拟机中编写一套PCI虚拟设备和驱动，这套虚拟PCI设备有一块虚拟设备内存。这个虚拟设备内存Host是可以访问的，虚拟机通过VirtIO驱动程序也可以访问。也就是一块内存在虚拟机和Host中共享，这就解决了虚拟机的IO性能问题。

再讲一个搜索引擎的故事。Yahoo要给一个程序添加搜索功能，刚开始是使用SQL查询来实现。但是发现这种方式实在太慢了，便找了开源的Lucene项目，这个项目使用反向索引技术，通过在文件中创建反向索引，大大提高了搜索速度。而Google的两位创始人发现可以通过html页面的link关系来为每一个html页面设置权重，并创造了PageRank算法，于是Google的自动搜索引擎击败了Yahoo的人工分类搜索引擎。OK，利用反向索引技术和PageRank，以及一个简单的html爬虫机器人，一个搜索引擎就能被构建出来了。但是互联网很大，每天产生大量新网页，要为整个互联网建立反向索引是很困难的。于是，在若干年后Google又公开了三篇论文，分别是Googlefs、Mapreduce和Bigtable。Lucene项目的开发者根据Google的Mapreduce论文开发了Hadoop项目。MapReduce就是使用大量计算机存储数据并计算，最后汇总结果。使用Hadoop+反向索引+PageRank，就可以创建搜索引擎了。Yahoo和Baidu等公司纷纷基于Hadoop开发了自己的搜索引擎。但是，其他公司的搜索引擎效果还是没法和Google相比。这一点我们程序员最清楚，很多程序员就喜欢FQ出去，只为了Google一下。再到后来，Google黑板报上发表了吴军博士的一些文章，其中介绍了很多机器学习方面的知识。从文中可以知道，Google其实使用机器学习来分析搜集到的页面。但是Google显然不会把这个公式公开出来。即使有一天Google真的公开了这个公式，那么可以想见Google肯定是又研发出了更加犀利的秘籍，山寨货的搜索引擎效果还是比不上Google的。

因此可以说山寨是通向创新的必由之路。在成为领域的领头羊和领导者之前，必然要经过学习，模仿的阶段。但要成为行业的老大，成为Champion，必须勇于弯道超车，勇敢地走上创新之路，成为真正的科学家，真正的大牛！

总结

有些程序员特别喜欢钻研编程语言，每有一种新的编程语言出来或者旧语言被热炒，就会投入精力进去研究。比如我觉得C++语言是一个特别大的坑。刚开始是作为面向对象的C被开发的。后来发现了模板编程，就大力鼓吹模板编程和进一步的模板元编程。然后又推出了C++11，C++14等新标准，进一步添加了很多新东西，函数式编程，类型推断等。C++过分复杂，太多的坑消耗了大量程序员的大量精力。

这样就可能会导致这些程序员把精力都花在提升编程技能上了，对领域知识知之甚少，这其实在日常工作中也是极其有害的。因为有些需求可能早已经有了现成、开源免费的解决方案，或者只需要组合几个现有软件就可以快速搞定，而他们却不得不自己花大量时间去开发。绝大多数场景下，重复造轮子并不是一件好事。

另外，缺少领域知识，在程序出现非预期状况时，很难快速定位到问题的根源，很难解决bug。

 

"你所看到的美好，都是有人曾经不遗余力的付出。"