摘要: 在求解反问题时,正则化技术的作用非常大。对于大多数优化问题,基本都使用了正则化方法。但是什么是正则化?却没有一个概念性的定义。解释性的定义如下:对于线性方程Ax=b,当解x不存在或者解不唯一时,就是所谓的病态问题(ill-posed problem). 但是在很多时候,我们需要对病态问题求解,那怎么做?对于解不存在的情况,解决办法是增加一些条件找一个近似解;对于解不唯一的情况,解决办法是增加一些限制缩小解的范围。这种通过增加条件或限制要求求解病态问题的方法就是正则化方法。正则化的英文是regularization,即规则化,调整。通过一些调整或者其他办法,使病态问题也能得到唯一解。在这个调整的 阅读全文
posted @ 2013-11-01 17:15 蜗牛~ 阅读(6153) 评论(0) 推荐(0) 编辑
摘要: Xiao-Xin Li, Dao-Qing Dai, Xiao-Fei Zhang, Chuan-Xian Ren, "Structured Sparse Error Coding for FaceRecognition With Occlusion", IEEE Trans. on Image Processing, vol. 22, no. 5, 2013.这也是一篇处理有遮挡情况下的文章。 阅读全文
posted @ 2013-11-01 14:30 蜗牛~ 阅读(292) 评论(0) 推荐(0) 编辑
摘要: Meng Yang, Lei Zhang, "Gabor feature based sparse representation for face recognition with gabor occlusion dictionary", ECCV, 2010.这不是一篇新文章。最近在思考对于有噪声和有遮挡的图像,如何更好的表示这些噪声和遮挡的信息?但是,对于高噪声的图像信息,大部分的有效信息已经被破坏了,并且被噪声占据。此时,为了表示带有高噪声的数据而去表示这些噪声信息,这种想法又觉得不对。对带有干扰信息的数据进行表示时,是应该先恢复还是应该一块表示。这篇文章是学习了一个 阅读全文
posted @ 2013-11-01 14:25 蜗牛~ 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 最先提出将稀疏表示用于人脸识别的文章,又重新看了一下,重点关注了对于噪声和遮挡的处理,记录一下。因为假设了噪声e0是个稀疏向量,才能将噪声情况统一到SRC的框架下。并且对e0的稀疏程度进行了分析。结论是:当噪声或者遮挡损坏的像素信息低于50%左右的时候,改方法才能保证得到稀疏解。这也解释了为什么当噪声高于50%时,该方法的效果不好。当用L1-norn进行限制时,这个比例还会被缩小。另外,在判别类别的时候也所有改变:另外,对于有遮挡的情况,文中使用的分块投票的策略,因为用全局的话结果特别不好。 阅读全文
posted @ 2013-10-21 21:34 蜗牛~ 阅读(955) 评论(0) 推荐(0) 编辑
摘要: 昨天的百度校招笔试考了卷积神经网络(CNN)我实在是太笨啦,baidu的深度学习搞的那么热火朝天,应该猜到会考这方面的内容的。太久没考试,以前练就的猜题本领都退化了。 阅读全文
posted @ 2013-10-14 14:53 蜗牛~ 阅读(1180) 评论(0) 推荐(0) 编辑
摘要: Angshul Majumdar *, Rabab K. Ward, "Improved Group Sparse Classifier", Pattern Recognition Letters, Volume 31, Issue 13, pp.1959-1964, 2010.这篇文章和上一篇是同作者。目标函数为:重点是优化方法,文中利用 Iterative Reweighted Least Squares method。利用以上两个近似方法,目标函数变化为: 阅读全文
posted @ 2013-10-10 22:45 蜗牛~ 阅读(248) 评论(0) 推荐(0) 编辑
摘要: Majumdar,A., Ward, R. K, "Classification via Group Sparsity Promoting Regularization",IEEE International Conference onAcoustics, Speech and Signal Processing, pp.861-864, 2009. ICASSP 2009.文中主要是为了引出group sparsity的regularization方法,使用两个新的regularization,具体如下:1、Elastic Net2、group sparsity两个正则项 阅读全文
posted @ 2013-10-09 14:02 蜗牛~ 阅读(448) 评论(0) 推荐(0) 编辑
摘要: Junzhou HuangandTong Zhang,"The Benefit of Group Sparsity", Ann. Statist.Volume 38, Number 4 (2010), 1978-2004.作者从理论上了分析了group lasso和lasso的性能情况,分析了在何种条件下group lasso可以得到更好的结果。 Group Lasso is more robust to noise due to the stability associated with group structure. Group Lasso requires a 阅读全文
posted @ 2013-10-08 22:59 蜗牛~ 阅读(675) 评论(0) 推荐(0) 编辑
摘要: 2011 CVPR E. Elhamifar and R. Vidal, 《Robust classification using structured sparse representation》. 阅读全文
posted @ 2013-10-03 22:45 蜗牛~ 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 2011 CVPR Meng Yang 的文章《Robust Sparse Coding for Face Recognition》。回顾这篇文章是因为和昨天在看的同作者的文章实在太像了,差别只在目标函数正则项中对于系数α的限制不同。我好像有点理解了为什么就算再简单的目标函数也要经过各种近似,迭代,概率统计推理等一系列看得云里雾里的理论铺垫才能给出。因为给出目标函数并不是目的,目的是给你单薄的目标函数穿上华丽的衣服,是告诉别人你的衣服用了什么材料,设计了怎样的款式才能使你的目标函数穿上后变得丰满。这好像和我们从小就培养的归纳概括,提炼中心思想的能力不同。化简为繁比去繁留简更难。文中的实验做了遮 阅读全文
posted @ 2013-09-26 12:08 蜗牛~ 阅读(490) 评论(0) 推荐(0) 编辑