摘要：
机器学习西瓜书笔记 3.6、类别不平衡问题 一、总结 一句话总结： 【类别不平衡（class-imbalance）】就是指【分类任务中不同类别的训练样例数目差别很大】的情况. 我们经常会遇到类别不平衡，【例如在通过拆分法解决多分类】问题时，即使原始问题中不同类别的训练样例数目相当，在使用OⅴR、Mv 阅读全文
摘要：
机器学习西瓜书笔记 3.5、线性判别分析多分类学习 一、总结 一句话总结： 就是利用【二分类学习器来解决多分类问题】 最经典的拆分策略有三种：【“一对一”】（One vs. One，简称OvO）、【“一对其余”】（One vs. Rest，简称OvR）和【“多对多”】（Many vs. Many，简 阅读全文
摘要：
机器学习西瓜书白话解读笔记 0309-0310、逻辑回归 一、总结 一句话总结： 【不是得到y和x的关系】，而是得到【ln(y/(1-y))与x的关系】，而ln(y/(1-y))就是对数几率， $$y = \frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } 阅读全文
摘要：
机器学习西瓜书笔记 3.4、线性判别分析 一、总结 一句话总结： 【线性判别分析（Linear Discriminant Analysis，简称LDA）】是一种经典的【线性学习方法】，在【二分类问题】上因为最早由 Fisher，1936]提出，亦称“Fisher判别分析” 1、线性判别分析LDA的思 阅读全文
摘要：
拉格朗日乘子 是什么 一、总结 一句话总结： 基本的【拉格朗日乘子法(又称为拉格朗日乘数法)】，就是【求函数 f(x1,x2,...) 在 g(x1,x2,...)=0 的约束条件下的极值】的方法。 其【主要思想】是引入一个【新的参数 λ （即拉格朗日乘子】），将【约束条件函数与原函数联系】到一起， 阅读全文
摘要：
线性回归和逻辑回归的关系 一、总结 一句话总结： 【需求是让f(x)来拟合[0,1]】，这个时候应该怎么做呢。拟合[0,1]就是【二分类】的问题。 【阶跃函数不连续，不可导】，所以就【用sigmoid】，所以就是逻辑回归了 逻辑回归：$$y = \frac { 1 } { 1 + e ^ { - ( 阅读全文