LDA与最小二乘法的关系及其变种详解
1 LDA与最小二乘法的关联
对于二值分类问题,令人惊奇的是最小二乘法和LDA分析是一致的。回顾之前的线性回归,给定N个d维特征的训练样例(i从1到N),每个
对应一个类标签
。我们之前令y=0表示一类,y=1表示另一类,现在我们为了证明最小二乘法和LDA的关系,改变训练目标:
就是将训练目标0/1做了值替换。我们列出最小二乘法代价函数:
从第一个式子展开可以得到:
化简第二个求导式子展开后和下面的公式等价:
因此,最后结果仍然是:
这个过程从几何意义上去理解也就是变形后的线性回归(将类标签重新定义),线性回归后的直线方向就是二值分类中LDA求得的直线方向w。
2.LDA的变种详解
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步