随笔分类 - Machine Learning
摘要：Kullback-Leibler divergence 形式： 性质： 非负 P=Q时，D[P||Q]=0 不对称性：D(P||Q)≠D(Q||P) 自信息：符合分布 P 的某一事件 x 出现，传达这条信息所需的最少信息长度为自信息，表达为 熵：从分布 P 中随机抽选一个事件，传达这条信息所需的最优
阅读全文
摘要：二维平面的线性分类器的VC维讨论：http://www.tuicool.com/articles/JjaMfe VC维介绍：http://blog.csdn.net/lucylove3943/article/details/47280991 定义：对一个指示函数集,如果存在h个样本能够被函数集中的函
阅读全文
摘要：如下所示： 结果： 以MNIST为例，先做PCA降到50维，再做t-sne： 结果如下： 更多降维的可视化参考：http://scikit-learn.org/stable/auto_examples/manifold/plot_lle_digits.html#sphx-glr-auto-examp
阅读全文
摘要：KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。 转自：https://zhuanlan.zhihu.com/p/22464760 一维高斯分布的KL散度 多维高斯分布的KL散度： KL散度公式为：
阅读全文
摘要：一个典型的logistic regression模型是: 这里明明用了非线性函数，那为什么logistic regression还是线性模型呢？ 首先，这个函数不是f(y,x)=0的函数，判断一个模型是否是线性，是通过分界面是否是线性来判断的。 这个P函数是y关于x的后验概率，它的非线性性不影响分界
阅读全文
摘要：百度百科的解释： 常用核函数： 1.线性核（Linear Kernel）： 2.多项式核（Polynomial Kernel）： 3.径向基核函数（Radial Basis Function），也叫高斯核（Gaussian Kernel）： 还有其他一些偏门核函数：http://blog.csdn.
阅读全文
摘要：决策树介绍：http://www.cnblogs.com/huangshiyu13/p/6126137.html 一些boosting的算法：http://www.cnblogs.com/huangshiyu13/p/6134329.html
阅读全文
摘要：%%%%TODO%%%%%%%
阅读全文
摘要：****************内容加密中********************
阅读全文
摘要：代码：*******************加密中**************************************
阅读全文
摘要：纯属个人总结： 1.优化方式：随机梯度下降（SGD） 2.训练类别：增强学习（Reinforcement Learning） 3.生成式模型：产生式对抗网络(GAN) 4.可靠性与准确率提升：模型组合，竞争以及投票（boosting and ensembling） 5.概率分布的重要性：单个神经元的
阅读全文
摘要：参考资料：http://blog.csdn.net/xuanyuansen/article/details/41050507 习题： 数据及代码： https://pan.baidu.com/s/1i4Iv3Nn
阅读全文
摘要：参考资料：http://www.cnblogs.com/dreamvibe/p/4349886.html 为什么转换成对偶问题： 首先是我们有不等式约束方程，这就需要我们写成min max的形式来得到最优解。而这种写成这种形式对x不能求导，所以我们需要转换成max min的形式，这时候，x就在里面了
阅读全文
摘要：转自：https://cos.name/2011/01/different-ways-to-solve-a-tossing-problem/
阅读全文
摘要：参考课件：https://wenku.baidu.com/view/c462058f6529647d2728526a.html 错误率最小化和风险最小化 代码：
阅读全文
摘要：2.1 引言 2.2 贝叶斯决策轮——连续特征 2.3 最小误差分类 2.3.1 极小化极大准则 2.3.2 Neyman-Pearson准则 2.4 分类器、判别函及判定面 2.4.1 多类情况 2.4.2 两类情况 2.5 正态密度 2.5.1 单变量密度函数 2.5.2 多元密度函数 2.6
阅读全文
摘要：受限玻尔兹曼机对于当今的非监督学习有一定的启发意义。 深度信念网络(DBN, Deep Belief Networks)于2006年由Geoffery Hinton提出。
阅读全文
摘要：Zipf分布： Zipf分布是一种符合长尾的分布： 就是指尾巴很长的分布。那么尾巴很长很厚的分布有什么特殊的呢？有两方面：一方面，这种分布会使得你的采样不准，估值不准，因为尾部占了很大部分。另一方面，尾部的数据少，人们对它的了解就少，那么如果它是有害的，那么它的破坏力就非常大，因为人们对它的预防措施
阅读全文
摘要：SVD的几何解释：http://blog.csdn.net/dinosoft/article/details/37884597 上文未证明为什么AAT的特征向量就是要找的v 这里有个简单的说明: SVD分解在图像压缩的应用：http://cos.name/2014/02/svd-and-image-
阅读全文
摘要：转自：http://blog.csdn.net/malefactor/article/details/51476961
阅读全文