ICA : independent Component Analysis
参考网页：
http://deeplearning.stanford.edu/wiki/index.php/Independent_Component_Analysis
在sparse coding 中，我们寻求一组过完备基（over-complete basis ），显然这些基之间不线性相关，这种模型在一些应用中不能够很好应用。比如现在收集了一些音频x,这些音频中有n个人的声音，互相独立，我们想将每个人的音频分离出来，那么此时sparse coding模型失效。ICA模型的目标是学习一组相互独立的不完备基（less-complete basis），且这些基正交。（假如一组正交组，那么
）。
在sparse coding中，我们将特征s映射到样本x，即AS-> X，通过最小化重构误差学习特征，而ICA中恰好相反，将样本X映射到特征S，即A-1X-> S，设W = A-1,即WX->S。
接下来看一下目标函数 ：
在sparse coding中目标函数包含三项：第一项为重构误差，第二项是稀疏惩罚项，第二项权重衰减项
而ICA模型中，ng在网页中给的目标函数仅有稀疏惩罚项一项，以正交化约束；
但在Deriving gradients using the backpropagation ideal 一节中，作者的目标函数又是重构误差这一项
本人参照sparse coding，认为应该将两者结合起来，因此目标函数为
由于目标函数具有基正交约束，在使用梯度下降算法时很难进行优化（暂时不晓得为什么），因此作者提出使用梯度下降更新W后，对W进行正交化操作，具体过程 如下
第二步类似于做ZCA白化，白化的目标：（1）维度间去相关性（2）每个维度的方差相同；ZCA白化在得到满足以上条件的旋转矩阵U后，对U作旋转A(AAT=I)，u仍然满足以上条件。
这里作者采用 ,实现对W的近似正交化
注：
参考文献：
http://deeplearning.stanford.edu/wiki/index.php/Sparse_Coding
http://deeplearning.stanford.edu/wiki/index.php/Sparse_Coding:_Autoencoder_Interpretation
