新书出版：《分布式机器学习——系统、工程与实战》

0x01 广告

经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。

详细信息请参见：

https://item.jd.com/10079265638834.html

http://product.dangdang.com/29594628.html

接下来是一些碎碎念。

0x02 感谢

在此书（包括博客）的写作过程之中，我参考了大量的论文，博客和视频，在此，对这些作者再次表示深深的感谢。经常阅读我博客的朋友应该知道，我在每篇文章之后都会列出大量参考链接。但是，出版社的规定是：书籍中不能出现任何的网址。因此我只能把这些参考链接提供给出版社，由出版社用网页方式呈现。还请大家理解。

0x03 痛苦

写书的难度和痛苦远远超过了我的预期。出版书是一个极其复杂的系统工程，没有经历的人很难体会。比如，为了把文字从markdown迁移到word，并且依据编辑的要求进行排版，我专门写了一个程序进行相关处理。又比如，技术人员和文字编辑可能对于同一段文字的理解会完全不同。技术人员会觉得这段文字很正常很通顺，但是从文字编辑的角度看，则会有很大问题，而编辑的意见无疑是正确的。因此技术人员需要依据编辑的意见对文字进行整改。本书就前后经历了很多次大修改，这对于作者和编辑（们）都是一项极其繁杂的工作，再次感谢我的责任编辑黄爱萍在本书出版过程中给我的帮助。

0x04 遗憾

关于本书，还有不少遗憾，比如：

本书没能早点面世

因为去年疫情的原因，编辑的工作受到很大影响，导致本书起码推迟几个月才能面世。

很多内容未能收录

我一共写了130多篇分布式机器学习方面的博客。我把这130多篇博客都进行了整理，绘制了很多新图，也添加了不少内容，很多行文、逻辑都做了调整和修改，一共整理了将近两千页word文档。然而最终在和编辑讨论之后，只从中选择了600页放入书中。这导致很多博客内容未能在书籍之中体现，比如数据加载，弹性训练，通信优化，HugeCTR，Alink，深度学习和大数据结合等部分都没有体现。

0x05 论文

我在书和博客之中会对一些论文进行翻译解读，为什么要这样做？这是因为面对一个新领域，个人的意见是按照“论文→文档→用户手册→注释→源码”这个顺序来学习。为什么按照这个顺序？因为这个顺序的优势是：

— 从抽象逻辑（或者说体系架构）到具体细节。

• 论文是作者的思想被提炼并进行逻辑化、体系化的结果，文档次之，而且重读经典论文，收获是多维度的。

• 文档和手册会从使用或者注意点方面帮你完成对这个框架整体的认识。在深入理解框架功能的基础上，再带着实际问题在源码中求解，才会深刻理解框架的设计思路和理念。

• 注释和源码则呈现了大量的细节。因为技术文档往往不全，所以只能从源码来逆向反推设计。

— 从人的思想到机器的思想。

• 注释是作者给阅读者看的，代码是作者给机器看的。

• 注释会告诉你为什么这样实现（Why），代码告诉你怎么实现（How）。

对于我们来说，应该首先寻求一种思维的改变（使用另外一种不同的方式来思考问题），和已有知识体系的更新与整理（打破原有条条框框来建立一个更大的框架），然后才是用代码来分析验证（毕竟纸上得来终觉浅）。当然，很多时候我们只有源码，那么就只能从源码中根据细节来探寻，重建论文作者的思路，提炼其精华，争取和作者达到一个跨越空间和时间的震荡和共鸣。共鸣越多，你就越接近论文作者。

0x06 方法

有的同学问我为什么可以研究这么多内容，有什么好的研究方法。其实我也没有很好的学习方法，可能因为我比较喜欢钻研技术，如果某一个技术点没有想明白，我就会围绕这个点进行深入挖掘，而往往为了弄明白一个知识点，就会研究其他相关知识点，这样从一个点很容易延申到一条线，进而扩展到一个面，最后形成一张网，就构建了自己的一个小小的知识体系。

0x07 展望

过去的一年实在太忙了，换了新城市新公司，大家一起从无到有构建一个新产品，几乎没有自己的时间，而仅有的闲暇时间都用来整理书籍。导致有几篇一年前写的文稿都没有整理。希望在接下来的日子中，能够有时间把这些文稿整理出来发布。也希望能够有时间研究一些新东西，最重要的是，希望我们产品可以大卖。

好久没有发布博客，突然发现，这几个网站的后台都不会使用了......