摘要：最近读到了一本很好的关于机器学习-深度学习的书值得推荐下并特意做了这个学习总结。 为什么推荐 在我认为好书（计算机类）的评判有几个标准： 目前为止，我读到能符合上述标准的好书不多，例如深入理解计算机系统，汇编语言（王爽），再就是这本《如何从零开始构建神经网络》。 遇到这本书也是一种机缘，当下深度学习 阅读全文

摘要：之前上了台大的机器学习基石课程，里面用的教材是《Learning from data》，最近看了看觉得不错，打算深入看下去，内容上和台大的课程差不太多，但是有些点讲的更深入，想了解课程里面讲什么的童鞋可以看我之前关于课程的第一章总结列表：机器学习定义及PLA算法机器学习的分类机器学习的可能性 我打... 阅读全文

摘要：本章重点: 简单的论证了即使有Noise，机器依然可以学习，VC Dimension对泛化依然起作用；介绍了一些评价Model效果的Error Measurement方法。一论证即使有Noisy，VC Dimension依然有效；下图展示了主要思想，以前的数据集是确定的（Deterministic），现在加了Noisy变成了分布函数了，即对每个一x，y出现的概率是P(y|x)。可以这么理解，概率表示的是对事件确定的程度，以前确定性的数据集是P(y|x) = 1, for y = f(x) p(y|x) = 0, for y != f(x), 加入了Noisy，便不是了，有一定的概率例如0.7是 阅读全文

摘要：本章的思路在于揭示VC Dimension的意义，简单来说就是假设的自由度，或者假设包含的feature vector的个数（一般情况下），同时进一步说明了Dvc和，Eout，Ein以及Model Complexity Penalty的关系。一回顾 由函数B(N,k)的定义，可以得到比较松的不等式mh(N)小于等于N^(k-1)(取第一项)。这样就可以把不等式转化为仅仅只和VC Dimension和N相关了，从而得出如下结论：1 mh(N)有break point k，那么其就是多项式级别的，我们认为假设数量不算多，是个好的假设；2 N 足够大，这样我们便算有了好的抽样数据集（假设不含很多N. 阅读全文

摘要：本章思路：根据之前的总结，如果M很大，那么无论假设泛化能力差的概率多小，都无法忽略，所以问题转化为证明M不大，然后上章将其转化为证明成长函数：mh(N)为多项式级别。直接证明似乎很困难，本章继续利用转化的思想，首先想想和mh(N)相关的因素可能有哪些？不难想到目前来看只有两个：假设的抽样数据集大小N；break point k（这个变量确定了假设的类型）；那么，由此可以得到一个函数B，给定N和k可以确定该系列假设能够得到的最大的mh(N)，那么新的目标便是证明B(N,k) <= Poly(N)。这便是本章的主要目标。上图展示了不同N和k如何影响最终的growth function，表达了 阅读全文

摘要：这节的主题感觉和training，testing关系不是很大，其根本线索在于铺垫并求解一个问题：为什么算法PLA可以正确的work？因为前面的知识告诉我们，只有当假设的个数有限的时候，我们才能比较确认我们得到坏的数据集的概率比较低，也就是说算法得出的假设和最佳假设在全局表现相同（错误率相等），可是PLA的假设是平面上的直线，不是无数个么？为什么可以正常泛化？为解释这个问题，有了这节以及下面几节的课程可以看到这个问题其实很重要，因为这是我们理解机器为啥能学习的关键一步，因为很多机器学习算法的假设看似都是无限的。下面这个图给出了理解机器为啥能学习的关键：即满足假设个数有限，采样数据足够大是算法泛化 阅读全文

摘要：提纲：机器学习为什么可能？引入计算橙球概率问题通过用Hoeffding's inequality解决上面的问题，并得出PAC的概念，证明采样数据学习到的h的错误率可以和全局一致是PAC的将得到的理论应用到机器学习，证明实际机器是可以学习 机器学习的大多数情况下是让机器通过现有的训练集（D）的学习以获得预测未知数据的能力，即选择一个最佳的h做为学习结果，那么这种预测是可能的么？为什么在采样数据上得到的h可以认为适用于全局，也就是说其泛化性的本质是什么？ 课程首先引入一个情景： 如果有一个装有很多（数量很大以至于无法通过数数解决）橙色球和绿色球的罐子，我们能不能推断橙色球的比例？ 很明显的 阅读全文

摘要：总体思路：各种类型的机器学习分类按照输出空间类型分Y 按照数据标记类型分yn 按照不同目标函数类型分f 按照不同的输入空间类型分X 按照输出空间类型Y，可以分为二元分类，多元分类，回归分析以及结构化学习等，这个好理解，离散的是分类，连续的是回归，到是结构化的学习接触的相对较少，以后有空可以关注下。按照数据标记分可以分为：监督；非监督；半监督；增强学习；下面这张ppt很好的总结了这点：这是围绕标记yn的类型进行分类的，监督和非监督很好理解，半监督和增强其实应用更加普遍，数据的标记大部分时候是需要人来做的，这个条件有时候很难满足（经费不足），那么半监督就有比较好的应用了。用人的学习过程来理解，人按 阅读全文

摘要：最近在跟台大的这个课程，觉得不错，想把学习笔记发出来跟大家分享下，有错误希望大家指正。一机器学习是什么？感觉和Tom M. Mitchell的定义几乎一致，A computer program is said to learn fromexperienceE with respect to some class of tasks T and performance measureP, if its performance at tasks in T, as measured by P, improves with experience E.简而言之，就是我们想要机器在某些方面有提高（如搜索排名 阅读全文

摘要：这些天在为以后工作做一些知识储备，所以想从总体上大致了解下搜索引擎的知识框架同时对较为重要的部分有个较为深入的了解。记得在微博上看到有人推荐张俊林同学的这本书，豆瓣上总体评价也不错就买来看了。这篇博客是对一个多月看此书的总结，第二部分用自己的话总结了搜索引擎的知识主线，其中结合了看书的笔记。1 关于书的评价 总体评价的话，此书在讲解具体算法的流程的时候花了很多心思，印象最深刻的是，几乎所有算法都有图例，这一点可看出作者是下了很大功夫的。每章后面都付了本章的参考论文，虽然都是英文论文，但都是相关算法较为权威的参考文献，这点也做得不错，对于不懂的算法可以继续看论文。不足的话，主要感觉的一点是，对. 阅读全文