摘要：
源自知乎的一个答案，网上很多关于PCA的文章，不过很多都只讲到了如何理解方差的投影，却很少有讲到为什么特征向量就是投影方向。本文从形象角度谈一谈，因为没有证明，所以不会严谨，但是应该能够帮助形象理解PCA背后的原理。 一、先从旋转和缩放角度，理解一下特征向量和特征值的几何意义 从定义来理解特征向量的 阅读全文
摘要：
源自知乎的一个 "答案" 信息论中，熵代表着根据信息的概率分布对信息编码所需要的最短平均编码长度。 举个简单的例子来理解一下这件事情：假设有个考试作弊团伙，需要连续不断地向外传递4选1单选题的答案。直接传递ABCD的ascii码的话，每个答案需要8个bit的二进制编码，从传输的角度，这显然有些浪费。 阅读全文