随笔分类 - 扩展基础知识
摘要:向量求导 感谢 [矩阵求导的本质与分子布局、分母布局的本质(矩阵求导——本质篇) - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/263777564#:~:text= 分子布局,就是分子是列向量形式,分母是行向量形式,如 式。 如果这里的 是 实向量函数
阅读全文
摘要:扩展——向量矩阵张量 参考 【科普向/中英字幕】What's a Tensor? 张量简介_哔哩哔哩_bilibili 标量就是数值,几何含义为数轴上的线段的长度 向量(矢量)有着方向和大小,其几何含义为带有箭头的一个线段 矩阵是一个二维的表,其几何含义为空间基的变换 张量 张量是一个定义在一些向量
阅读全文
摘要:拉格朗日乘数法 拉格朗日乘数法 KKT条件 互补松弛条件的解释 实例 对偶问题 SVM的对偶问题求解
阅读全文
摘要:广义线性模型GLM 判断标准非常简单,响应变量y独立则GLM,否则GLMM。这就是最本质的判断标准,其它的标准都是基于这个标准来的 指数分布族 概率密度为 其
阅读全文
摘要:熵 ,KL散度,交叉熵,JS散度,Wasserstein 距离(EarthMover距离) 信息量 香农(Shannon)认为“信息是用来消除随机不确定性的东西”,也就是说衡量一个事件信息量大小就看这个信息消除事件不确定性的程度。 从编码的角度 设信源X可发出的消息符号集合为$A= { a_i |
阅读全文
摘要:最大似然估计 一 基本知识 1 .1概率理解——贝叶斯派与频率派 频率派:概率是一个确定的值,模型中的参数也是一个确定的值。样本数据是由确定的概率分布生成的,因此数据是随机的。多次重复试验,使用事件发生的频率近似代替概率 。 对于一个模型或者也可说一个分布中的参数,我们相信它是固定不变的,是固有的属
阅读全文