摘要：
上一篇译文《 "香农熵" 》中介绍了熵的由来及其计算公式的产生，这篇译文介绍另外一个与香农熵相关的概念：交叉熵（Cross Entropy） 注：可能文中对一些专有名词的翻译不够精确，所以有的名词后面注解了其对应的原始英文单词 原文： "A Friendly Introduction to Cros 阅读全文
摘要：
算法求解思路为交替迭代的进行稀疏编码和字典更新两个步骤. K-SVD在构建字典步骤中，K-SVD不仅仅将原子依次更新，对于原子对应的稀疏矩阵中行向量也依次进行了修正. 不像MOP，K-SVD不需要对矩阵求逆，而是利用SVD数学分析方法得到了一个新的原子和修正的系数向量.固定系数矩阵X和字典矩阵D，字典的第$k$个原子为$d_k$，同时$d_k$对应的稀疏矩阵为$X$中的第$k$个行向量$x^k_T$. 假设当前更新进行到原子$d_k$，样本矩阵和字典逼近的误差为：$$\|Y - DX\|^2_F = \|Y - \sum\limits^K_{j=1}d_jx^j_T\|^2_F = \|(Y - \sum\limits_{j\neq k}d_jx^j_T) - d_kx^j_T\|^2_F = \|E_k -d_kx^k_T\|^2_F$$在得到当前误差矩阵$E_k$后，需要调整$d_k$和$X^k_T$，使其乘积与$E_k$的误差尽可能的小. 阅读全文
摘要：
MOD（Method of Optimal Direction）是早期的基于样本学习的字典学习算法. 设目标函数中$X$已知，信号的误差定义如下：
$$\|E\|^2_F = \|Y - DX\|^2_F$$
MOD算法更新字典的策略就是实现表征误差最小化，所以公式两端针对$D$求偏导，会推到出$(Y - DX)X^{\mathrm{T}} = 0$，整个字典的更新过程如下：
$$D^{n + 1} = Y (X^n)^{\mathrm{T}} \cdot (X^n(X^n)^{\mathrm{T}})^{-1}$$
一般MOD算法需要几十次迭代即可收敛是一个比较可行的方法。缺点在于运算中需要对矩阵求逆，造成计算量过大. 阅读全文
摘要：
我们将$l_1$范数替换$l_0$范数以后，稀疏表征模型可以表示为：
$$\min \|\alpha\|_1 \quad \mathrm{s.t.} \; \Phi\alpha = s$$
这是一个二次规划问题，如何将$l_1$范数优化问题转为线性规划问题呢？
参考[Atomic Decomposition by Basis Pursuit](http://epubs.siam.org/doi/pdf/10.1137/S003614450037906X)中的方法，可以将$l_1$范数优化问题转化为一个常见的线性规划问题，然后我们可以用单纯形法或者内点法来求解. 阅读全文
摘要：
内点法属于约束优化算法。约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换成无约束问题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。
内点法（罚函数法的一种）的主要思想是：在可行域的边界筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数徒然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“档”在可行域之内了。 阅读全文
摘要：
参考[单纯形法](http://www.cnblogs.com/theonegis/p/7679729.html)的步骤，MATALAB中的实现如下（求极小值）：
注：对于极大值的求解，只需要对目标函数添加负号，求解出来的$X$，再带入原目标函数即可。 阅读全文
摘要：
简要地讲就是，每次从单纯形上的一个顶点走到一个更好的顶点直到找到最小（大）值。最好的顶点怎么找？最直接的办法就是逐个找。聪明一点的办法是，每次找到的新的顶点都比原来的好。单纯形法就是这类方法。 阅读全文
摘要：
这篇博文是在对Koredianto Usman《Introduction to Orthogonal Matching Pursuit》文章的翻译，后面附带了一些总结.
这篇文章是前面《Matching Pursuit (MP》文章的继续. 阅读全文
摘要：
匹配追踪的过程已经在[匹配追踪算法（MP）简介](http://blog.csdn.net/theonegis/article/details/78209711)中进行了简单介绍，下面是使用Python进行图像重建的实践。 阅读全文
摘要：
在稀疏表征理论方面的研究主要可分为两个方面:字典的构建和稀疏编码.
稀疏编码的目标就是在满足一定的稀疏条件下，通过优化目标函数，获取信号的稀疏系数. 经典的算法有匹配追踪(Matching Pursuit，MP)、正交匹配追踪(Orthogonal Matching Pursuit，OMP)、基追踪(Basis Pursuit，BP)算法等. 阅读全文