09 2014 档案
摘要:这是boss14年1月份就叫我看的论文,希望能够实现起来,但是发现里面的牵涉的东西太多,而且重要的是论文几乎没给数据参数,网上也找不到代码来熟悉,没gpu,没大内存,没师兄师姐可以帮助,单干的确挺累人。还是翻译下,加深印象吧,总觉得在做无用功。最重要的是,boss完全不管,自己也非大神(吐槽过多。。...
阅读全文
摘要:其实topographic independent component analysis 早在1999年由ICA的发明人等人就提出了,所以不算是个新技术,ICA是在1982年首先在一个神经生理学的背景下提出的,而且在1980年前后大家都在忙着研究BP,所以对ICA研究的人都不多,在1990年前后才大...
阅读全文
摘要:之前一直对BP的理解不透彻,这可不行,这个可是超经典的广泛应用在ML中的求偏导的方法。本博来自《神经网络与机器学习》P86页。 在用到bp的地方我们都是为了使用梯度下降法,并求出他的偏导数,如图:(图 1 来自ng的ufldl),但是如何求得J(W,b)关于W和b的导数确实比较难,所以才有了BP的出
阅读全文
摘要:ng的ml-003中11_XI._Machine_Learning_System_Design第二个视频中着重说明了如何开始设计系统: 首先需要以最快速的做一个你当前能力能够做到的系统: 然后画出learning curve,来查找是过拟合还是欠拟合,然后进行下一步,但是很多时候我们发现我们需要手动
阅读全文
摘要:正则化与过拟合(highvariance)和欠拟合(highbias)的关系-部分(五) ML的诊断方法-部分(六) 如何采取下一步-部分(七) 部分(五) 从图中可以看出,正则化项可以用来影响模型函数对数据是否过拟合,正则化项的本意是防止过拟合的,但是对于前面的lamuda的正确的选取却很重要,对
阅读全文
摘要:本博资料来自andrew ng的13年的ML视频中10_X._Advice_for_Applying_Machine_Learning。 遇到问题-部分(一) 错误统计-部分(二) 正确的选取数据集-部分(三) 辨识是欠拟合还是过拟合-部分(四) 正则化与过拟合(high variance)和欠拟合
阅读全文