12 2017 档案
摘要：如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量
阅读全文
摘要：1） 最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Es
阅读全文
摘要：Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读开源项目代码，又碰到了，索性深入看下。本次讲解内容如下： 基本数学名词识记 牛顿法推导、算法步骤、计算实例 高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例 高斯牛顿法优劣总结 一、基本概念定义 1.非线性方程定义及最优化
阅读全文
摘要：一、最速下降法的理念 最速下降法是梯度方法的一种实现，它的理念是在每次的迭代过程中，选取一个合适的步长，使得目标函数的值能够最大程度的减小。可以认为是函数的极小值点： 由梯度迭代公式可知：, 上式的解释是找到最优的迭代点, 使得函数取得极小值时，求出步长。 概述最速下降法的过程：在每一步的迭代中，从
阅读全文
摘要：一、牛顿法概述 除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法的基本思想是利用迭代点处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当快，
阅读全文
摘要：前提及说明 第一次遇见矩阵求导，大多数人都是一头雾水，而搜了维基百科看也还是云里雾里，一堆的名词和一堆的表格到底都是什么呢？这里总结了我个人的学习经验，并且通过一个例子可以让你感受如何进行矩阵求导，下次再遇到需要进行矩阵求导的地方就不会措手不及。 在进行概念的解说之前，首先大家需要先知道下面的这个前
阅读全文
摘要：一看题目就知道本文内容较多，但因为放在一起讨论才能互相比较理解异同。本文主要讨论重尾分布，长尾分布，肥尾分布三者的联系，同时顺带讨论了一下 Random walk 中的 Lévy flight 和 Brownian motion。主要内容参考自 Wikipedia 和 Rick Wicklin 的博
阅读全文
摘要：1、硬阈值(Hard Thresholding)函数的符号 硬阈值(Hard Thresholding)并没有软阈值(Soft Thresholding)那么常见，这可能是因为硬阈值解决的问题是非凸的原因吧。硬阈值与软阈值由同一篇文献提出，硬阈值公式参见文献【1】的式( 11)： 第一次邂逅硬阈值(
阅读全文
摘要：Majorization-Minimization优化框架在各类算法中是很常见的，而且这个思想其实也很容易理解，简单点说，只需文献【1】中的三页PPT即可： 或者用文献【2】中的三页PPT来说明： 注意一点：在迭代过程中，新的目标函数是不断随着迭代点的变化而变化的，这个可以从文献【1】的那个图解过程
阅读全文
摘要：彻底理解了迭代硬阈值IHT以后，很自然的会想到：如果将软阈值(SoftThresholding)函数与Majorization-Minimization优化框架相结合形成迭代软阈值(Iterative Soft Thresholding，IST)算法（另一种常见简称为ISTA，即IterativeS
阅读全文
摘要：1、软阈值(Soft Thresholding)函数的符号 软阈值(Soft Thresholding)目前非常常见，文献【1】【2】最早提出了这个概念。软阈值公式的表达方式归纳起来常见的有三种，以下是各文献中的软阈值定义符号： 文献【1】式(12)： 文献【2】： 文献【3】： 文献【4】式(8)
阅读全文
摘要：在学习机器学习中会接触到大量的数学公式，所以在写博客是会非常的麻烦。用公式编辑器一个一个写会非常的麻烦，这时候我们可以使用LaTeX来插入公式。 写这篇博文的目的在于，大家如果要编辑一些简单的公式，就不必自己写，直接copy过去修改下就能用了。所以下面仅列出些常用的grammar。随着、机器学习的深
阅读全文
摘要：前言： FISTA（A fast iterative shrinkage-thresholding algorithm）是一种快速的迭代阈值收缩算法（ISTA）。FISTA和ISTA都是基于梯度下降的思想，在迭代过程中进行了更为聪明（smarter）的选择，从而达到更快的迭代速度。理论证明：FIST
阅读全文
摘要：【转载：http://zh.wikipedia.org/wiki/利普希茨連續】 在数学中，特别是实分析，利普希茨连续（Lipschitz continuity）以德国数学家鲁道夫·利普希茨命名，是一个比通常连续更强的光滑性条件。直觉上，利普希茨连续函数限制了函数改变的速度，符合利普希茨条件的函数的
阅读全文
