K-SVD Rachel Zhang 1. k-SVD introduction 1. K-SVD usage: Design/Learn a dictionary adaptively to betterfit the model and achieve sparse signal representations. 2. Main Problem: Y = DX Where http://www.haofapiao.com/linked/20130321.do Y∈R(n*N), D∈R(n*K), X∈R(k*N), X is a sparse matrix. N is # of samples; n is measurement dimension; K is the length of a coefficient. 2. Derivation from K-Means 3. K-Means: 1) The sparse representationproblem can be viewed as generalization of the VQ objective. K-SVD can be viewed as generalization of K-Means. 2) K-Means algorithm for vectorquantization: Dictionary of VQ codewords is typically trained using K-Means algorithm. When Dictionary D is given, each signal is represented as its closestcodeword (under l2-norm distance). I.e. Yi = Dxi Where xi = ej is a vector from the trivial basis,with all zero entries except a one in the j-th position. 3) VQ的字典操练： K-Means被视作一个sparse coding的特例，在系数x中只需一个非零元，MSE定义为： 所以VQ的问题是： 4) K-Means 算法完结的迭代进程： 1） 求X的系数编码 2） 更新字典 3. K-SVD，generalizing the K-Means 4. Objective function 5. K-SVD的求解 Iterative solution: 求X的系数编码(MP/OMP/BP/FOCUSS),更新字典(Regression). K-SVD优化：也是K-SVD与MOD的不同之处，字典的逐列更新： 假定系数X和字典D都是固定的，要更新字典的第k列dk，领稀疏矩阵X中与dk相乘的第k行记做，则政策函数可以重写为： 上式中，DX被分解为K个秩为1的矩阵的和，假定其间K-1项都是固定的，剩下的1列就是要处置更新的第k个。矩阵Ek标明去掉原子dk的成分在所有N个样本中构成的过失。 6. 提取稀疏项 如果在5.中这一步就用SVD更新dk和，SVD能找到距离Ek比来的秩为1的矩阵，但这样得到的系数不稀疏，换句话说，与更新dk前的非零元地点方位和value不一样。那怎么办呢？直观地想，只保管系数中的非零值，再进行SVD分解就不会出现这种表象了。所以对Ek和做转换，中只保管x中非零方位的，Ek只保管dk和中非零方位乘积后的那些项。构成，将做SVD分解，更新dk。 7. 总结 K-SVD总可以保证过失单调下降或不变，但需要合理设置字典大小和稀疏度。 在我的实验中，跟着字典的增大，K-SVD有整体效果提升的趋势，但不一定跟着稀疏度的增大使得整体过失下降。 8. Reference: 1) K-SVD: An algorithm fordesigning overcomplete dictionaries for sparse representation (IEEE Trans. OnSignal Processing 2006) 2) From sparse solutions of systemsof equations to sparse modeling of signals and images (SIAM Review 2009 240') 关于Machine Learning更多的学习材料与相关谈论将继续更新，敬请注重本博客和新浪微博Rachel____Zhang. http://www.kp1234.info/linked/20130321.do
