摘要：
四、 How Can Machines Learn Better? 我个人感觉第四讲是整个基石课程的精髓所在，很多东西说的很深也很好。 首先是overfitting的问题，过拟合是一个常发生的情况，简单的理解就是下图，low Ein不一定是好事，因为我们的目的是low Eout。所以不能过拟合你的训 阅读全文
摘要：
三、How Can Machines Learn? 第三节首先介绍了linear regression,线性可分的线性规划是有analytic solution的，林老师给我们推了一下，关键就是矩阵化的处理，简化了很多的工作 上面三幅图是整个推导的过程，需要注意的是，最后的X不一定是可逆的，因为我们 阅读全文
摘要：
二、Why can machines Learn？ 之前我们在讨论Ein和Eout的问题的时候，假设了假设空间H是有限的，为M个，但是对于M的大小有一些问题，为了保证Ein等于Eout我们想要比较小的M，但为了保证Ein=0，我们需要有很多的选择需要去选，这样就要求M比较大。这个问题继续发散下去就是 阅读全文
摘要：
台大林轩田老师在coursera上的两门machine learning的课非常的赞，之前入门的时候看了一遍，最近又把基石拿出来回顾了一遍，顺便写点笔记，有些东西确实不记下来就会忘。 基石和技法这两门课程是前后应承的关系，我个人觉得他们都很对得起课程的名字，基石偏重于学习理论的讲解，PAC 正则之类 阅读全文
摘要：
一、概述 Nvidia提出的一种基于3DCNN的动态手势识别的方法，主要亮点是提出了一个novel的data augmentation的方法，以及LRN和HRn两个CNN网络结合的方式。 3D的CNN主要是使用了三维的卷积核去处理视频序列，是视频分析中常用的方法之一。 这里是可以识别手语这种动态连续 阅读全文
摘要：
一、概述 这个是最近的核心工作了，基本上都是靠着这篇paper的model过日子了啊.. 论文主要讲的是hand gesture recognition，实际上是用googlenet做的一个classification的工作，他的工作也就是在googlenet上做了fine-tuning，那么论文的 阅读全文
摘要：
一、概述 这是我在做手势识别的时候，在解决手势画面提取的时候看的一篇paper，这里关键是使用了动态规划来作为跟踪算法，效果是可以比拟cameshift和kf的，但在occlusion,gaps或者离线tracking的时候做的很好。 二、算法步骤 step1：对于时间的t的frame如X_t的每个 阅读全文
摘要：
终于来到了最终的大BOSS，卷积神经网络~ 这里我想还是主要关注代码的实现，具体的CNN的知识点想以后在好好写一写，CNN的代码关键就是要加上卷积层和池话层. 一、卷积层 卷积层的前向传播还是比较容易的，我们主要关注的是反向传播，看下图就知道了： 和http://www.cnblogs.com/to 阅读全文
摘要：
一、参数更新策略 1.SGD 也就是随机梯度下降，最简单的更新形式是沿着负梯度方向改变参数（因为梯度指向的是上升方向，但是我们通常希望最小化损失函数）。假设有一个参数向量x及其梯度dx，那么最简单的更新的形式是： x += - learning_rate * dx 其中learning_rate是一 阅读全文
摘要：
第二个作业难度很高，但做（抄）完之后收获还是很大的.... 一、Fully-Connected Neural Nets 首先是对之前的神经网络的程序进行重构，目的是可以构建任意大小的全连接的neural network，这里用模块化的思想构建整个代码，具体思路如下： 在上面的思想指导下，要求实现下面 阅读全文