Linear Model for classification
摘要:1. Linear Model for Classification 解决分类问题我们之前主要见过三个:线性分类问题,线性回归问题解分类,logistic回归。接下来看看这三者之间的区别与联系。 三者的区别主要是误差函数不同: 在同一个图上表示如下: 为什么Uper Bound是有效果的?理论证明:
阅读全文
理解机器为什么可以学习(五)---Noise and Error
摘要:之前我们讨论了VC Dimension,最终得到结论,如果我们的hypetheset的VC Dimension是有限的,并且有足够的资料,演算法能够找到一个hypethesis,它的Ein很低的话,那么我们就大概学到了东西。 看看之前的learning flow: 我们有一个target funct
阅读全文
理解机器为什么可以学习(四)---VC Dimension
摘要:前面一节我们通过引入增长函数的上限的上限,一个多项式,来把Ein 和 Eout 的差Bound住,这一节引入VC Bound进一步说明这个问题。 前边我们得到,如果一个hypethesis集是有break point的,那么最终mh会被一个多项式bound住,如果break point 为k的话,那
阅读全文
理解机器为什么可以学习(三)---Theory of Generalization
摘要:前边讨论了我们介绍了成长函数和break point,现在继续讨论m是否成长很慢,是否能够取代M。 成长函数就是二分类的排列组合的数量。break point是第一个不能shatter(覆盖所有情形)的点。 1.break point对成长函数的限制 我们希望 这里引入上限函数 bound func
阅读全文
并查集
摘要:关于Union Find的一个很好的技术介绍blog: http://blog.csdn.net/dm_vincent/article/details/7655764\ 一步步优化代码: Quick find -> quick union ->weighed quick uunion -> 带压缩的
阅读全文
理解机器为什么可以学习(二)---Training versus Testing
摘要:前边由Hoeffding出发讨论了为什么机器可以学习,主要就是在N很大的时候Ein PAC Eout,选择较小的Ein,这样的Eout也较小,但是当时还有一个问题没有解决,就是当时的假设的h的集合是个数是有限的,那么本文继续讨论h个数为无限的情况。http://www.cnblogs.com/fut
阅读全文