筷点雪糕侠

摘要： 1.联合概率,边缘概率,条件概率 $假设有两个离散随机变量X,Y,X有5种取值,Y有3种取值,做N次试验,其中我们 对X和Y 都进⾏取样，把X = x_i且Y = y_j的试验的数量记作n_{ij}。并且，把X取值x_i（与Y 的取 值⽆关）的试验的数量记作c_i，类似地，把Y 取值y_j的试验的数 阅读全文

摘要： 1.机器学习问题分类 $\begin{cases} 监督学习\begin{cases} 回归问题(regression,连续)\ 分类问题(classification,离散)\ \end{cases}\ 无监督学习\begin{cases} 聚类(clustering)\ 密度估计(density 阅读全文

摘要： 一.判别分析和分类分析 例子 贷款人申请贷款，要评估是否能够成功偿还贷款 二.区别 判别分析-寻找判别规则，利用判别函数来描述-主要是区分不同的群体-找规律 分类分析-给出分类结果-预测新对象的类别，找到最优可能属于的类别-贴标签 目标通常都是分类 两群体Fisher线性判别分析 目标寻找最合适的平 阅读全文

摘要： 一.背景 一般机器学习完成后会生成正确率等指标，ROC也是常用的指标 \(假设有一随机变量X,离散值,有n中取值，同时有两类分布对应X\) \(1.真实分布-从样本中,概率为p=(p_1,p_2,....,p_n)\) \(2.假设分布-学习得到,概率为q=(q_1,q_2,....,q_n)\) 阅读全文

摘要： #1.最大熵模型 终极目标 \(P(Y|X)\) 熵 \(H(P)=-\sum_{x}P(x)\log P(x)\) 将终极目标代入熵 \(H(P)=-\sum_{x}P(y|x)\log P(y|x)\) 做些改变,调整为条件熵 \(H(P)=H(y|x)=-\sum_{x}\tilde P(x) 阅读全文

摘要： 1.逻辑斯蒂回归定义 \(P(Y=1|x)=\frac{e^{wx}}{1+e^{wx}}\) \(P(Y=0|x)=\frac{1}{1+e^{wx}}\) 2.参数估计 \(逻辑斯蒂回归模型学习时,对于给定的训练数据及T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} 阅读全文

摘要： 符号 定义 \(D\) \(数据集,一个m\times (d+1)大小的矩阵X\) \(m\) \(样本量\) \(d\) \(维度,不含偏置项\) \(X=\begin{pmatrix}x_{11} & x_{12} & ... & x_{1d} & 1 \\x_{21} & x_{22} & . 阅读全文

摘要： #1.概念 拟合能力强的模型一般复杂度会比较高，容易过拟合。 如果限制模型复杂度，降低拟合能力，可能会欠拟合。 #2.如何选择模型? 模型越复杂,迅雷错误越低 #####不能根据训练错误最低来选择模型 #####在选择模型时,测试集不可见 #3.模型选择 引入验证集 将训练集分为两部分 训练集 验证 阅读全文

摘要： 1.学习准则 一个好的模型应该在所有取值上都与真实映射函数一致 #2.损失函数 Loss Function 损失函数是一个非负实数函数,用来量化模型预测和真实标签之间的差异 以回归问题为例 平方损失函数 Quadratic Loss Function \(\mathcal{L}(y,f(x;\the 阅读全文

摘要： 点击查看代码 from sklearn import datasets # 自带数据集 from sklearn.model_selection import train_test_split # 数据集划分 from sklearn.preprocessing import StandardSca 阅读全文