摘要： 1、原始损失函数 由最小二乘法得到的损失函数为 最小二乘法得到的参数 w 的极大似然估计值为 由于 有可能是不可逆矩阵，因此 可能无法得到解析解（即方程有无数多个解，易造成过拟合） 2、正则化框架 L(w) 为最小二乘法得到的损失函数(Loss) P(w) 可理解为罚函数 常用 L1/L2 范数作为 阅读全文

摘要： 1、定义 正定矩阵：给定一个大小为 n*n 的实对称矩阵 A ，若对于任意长度为 n 的非零向量 x，有 xTAx>0 恒成立，则矩阵 A 是一个正定矩阵。 半正定矩阵：给定一个大小为 n*n 的实对称矩阵 A ，若对于任意长度为 n 的向量 x，有 xTAx>0 恒成立，则矩阵 A 是一个个半正定 阅读全文

摘要： 1、公式法推导 已知数据集 (X,Y)，X、Y 均为列向量，列内第 i 行代表 X、Y 的一个样本 xi、yi 假设 X 和 Y 满足线性映射：Y=WTX 则预测值与真实值之间的误差（距离）为 PS：因为 YTXw 是一个实数，因此 YTXw =wTXTY 则权重矩阵 w 的最小二乘估计值为： 2、 阅读全文

摘要： PS：此部分参考B站“机器学习白板推导系列”课程，清华大佬讲解的很棒，具体链接已附上 PPS：该部分视频连接：https://www.bilibili.com/video/av70839977?p=7 1、约束优化问题 原问题 对原问题构造拉格朗日函数 原问题转化为无约束形式 2、对偶问题 上述问题 阅读全文

摘要： 1、定义 在数学最优问题中，拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法 这种方法将一个有 n 个变量与 k 个约束条件的最优化问题转换为一个有 n + k 个变量的方程组的极值问题，其变量不受任何约束 这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（g 阅读全文

摘要： 1、伯努利实验 伯努利试验是只有两种可能结果的单次随机试验 进行一次伯努利试验，成功（X=1）概率为 p(0<=p<=1)，失败（X=0）概率为 1-p 在一次伯努利实验中，随机变量 X 服从伯努利分布（0-1分布） 如果试 E 是一个伯努利试验，将 E 独立重复地进行 n 次，则称这一串重复的独立 阅读全文

摘要： 1、高斯密度函数 为常数 若变量 X 满足上述函数，则称其服从参数为 μ,σ 的正态分布或高斯分布 记作 X~N(μ,σ^2 ) 2、参数的极大似然估计 μ 的极大似然估计 （一维数据） （高维数据） x 和 μ 的马氏距离：，∑ 是 x 和 μ 的协方差矩阵 当协方差矩阵 ∑ 是单位矩阵，马氏距离 阅读全文

摘要： 1、机器学习的任务 机器学习的任务是从属性 X 预测标记 Y，即求概率 P(Y|X) 2、判别式模型 对未见示例 X，判别式模型根据 P(Y|X) 可以求得标记 Y，即可以直接判别出来 对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为反类 如上图的左边 阅读全文

摘要： 1、概述 极大似然估计（Maximum Likelihood Estimation, MLE） 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。 极大后验估计（ 阅读全文

摘要： 最近两周忙着上网课、投简历，博客没什么时间写，姑且把之前做的笔记放上来把。。。 下面是我之前看论文时记的笔记，直接copy上来了，内容是Fast R-CNN的，以后如果抽不出时间写博客，就放笔记上来（实则偷懒。。。。） 1、改进 端到端的学习 将图片用选择搜索算法（select search）得到2 阅读全文