随笔分类 - 13.Math
摘要：作者：魏通链接：https://www.zhihu.com/question/20473040/answer/102907063来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 以下分别列举常用的向量范数和矩阵范数的定义。 向量范数 1-范数： ，即向量元素绝对值之和，
阅读全文
摘要：特殊的集合+运算就是群。 原文：https://www.zhihu.com/question/23091609
阅读全文
摘要：1 等式约束优化问题 等式约束问题如下： 求解方法包括：消元法、拉格朗日乘子法。 1、消元法 通过等式约束条件消去一个变量，得到其他变量关于该变量的表达式代入目标函数，转化为无约束的极值求解问题，具体过程如下： 得到无约束的极值问题即可通过：一阶导数=0求驻点，Hession矩阵判定极值点。 2、拉
阅读全文
摘要：模型性能的度量 在监督学习中，已知样本 ，要求拟合出一个模型（函数），其预测值与样本实际值的误差最小。 考虑到样本数据其实是采样，并不是真实值本身，假设真实模型（函数）是，则采样值，其中代表噪音，其均值为0，方差为。 拟合函数的主要目的是希望它能对新的样本进行预测，所以，拟合出函数后，需要在测试集（
阅读全文
摘要：正态分布曲线Y轴表示的是随bai机变量x等于某数发生的概du率。 正态zhi曲线下横轴上一定区间的面积dao反映该区间的例数占总例数的百分比，或变量值落在该区间的概率（概率分布）。不同 范围内正态曲线下的面积可用公式计算。 正态曲线下，横轴区间(μ-σ,μ+σ)内的面积为68.268949%。 P{
阅读全文
摘要：刚体变换（rigid transformation）一般分为如下几种： 平移对象，而不改变形状和大小； 镜像（reflection），左右颠倒； 旋转（rotation），沿着任意方向的旋转； 非刚体变换：描述的是对几何物体大小而非形状的改变。 也即： 刚体变换：shift or reflectio
阅读全文
摘要：极大后验是知道了结果推断可能的原因，可以利用贝叶斯公式，但后则主要还可以用来根据已有的条件来推断最大的可能结果 https://zhidao.baidu.com/question/1054089094514657619.html
阅读全文
摘要：数学中 arg min的意思：arg min 就是使后面这个式子达到最小值时的x，t的取值。 1、其中arg min是元素（变元）的英文缩写。 比如：函数 cos(x) 在 ±π、±3π、±5π、……处取得最小值（-1），则 argmin cos(x) = {±π, ±3π, ±5π, ...}。如
阅读全文
摘要：如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量
阅读全文
摘要：综述： 1. Jacobian 向量分析中,雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中。 雅可比矩阵 雅可比矩阵体现了一个可微方程与给出点的最优线性逼近，雅可比矩阵类似于多元函数的导数.。 雅可比行列式 如
阅读全文
摘要：引言如果要将极大似然估计应用到线性回归模型中，模型的复杂度会被两个因素所控制：基函数的数目（的维数）和样本的数目。尽管为对数极大似然估计加上一个正则项（或者是参数的先验分布），在一定程度上可以限制模型的复杂度，防止过拟合，但基函数的选择对模型的性能仍然起着决定性的作用。 上面说了那么大一段，就是想说
阅读全文
摘要：个人理解： 最大似然估计：只是对似然的处理，概率乘积转概率密度乘积，取对数转加，求导得估计值； 贝叶斯估计：由先验乘似然得后验， 这个就是贝叶斯学习过程：在前一个训练集合的后验概率上，乘以新的测试样本点的似然估计，得到新的集合的后验概率，这样，相当于成为了的先验概率分布： ； 原文：https://
阅读全文
摘要：1. 有时候单一高斯分布不能很好的描述分布 image.png 上图左面用单一高斯分布去描述，显然没有右图用两个高斯分布去描述的效果好。 2. 引入混合高斯分 这里插一句，为什么是“高斯混合模型”，而不是别的混合模型，因为从中心极限定理知，只要K足够大，模型足够复杂，样本量足够多，每一块小区域就可以
阅读全文
摘要：边缘分布（Marginal Distribution）指在概率论和统计学的多维随机变量中，只包含其中部分变量的概率分布。 参阅Wikipedia举例，下图中，X和Y遵从绿圈内所示的二元正态分布，红线和蓝线分别表示Y变量和X变量的边缘分布
阅读全文
摘要：正态分布是与中的定量现象的一个方便模型。各种各样的心理学测试分数和现象比如计数都被发现近似地服从正态分布。 开始前，先看几个重要概念： 概率函数：把事件概率表示成关于事件变量的函数 概率分布函数：一个随机变量ξ取值小于某一数值x的概率，这概率是x的函数，称这种函数为随机变量ξ的分布函数，简称分布函数
阅读全文
摘要：前言：介绍了最简单的最大似然估计，距离实现「朴素贝叶斯」还有一些距离。在这篇文章，我想分享一下，我所理解的「最大似然估计 - 高斯分布」。 问题 （这里都是玩具数据，为了方便理解才列出） 0123456789101112 X 1 2 3 4 4.2 4.4 4.6 4.8 5 6 7 8 y 0 0
阅读全文
摘要：一，伯努利分布(bernouli distribution) 又叫做0-1分布，指一次随机试验，结果只有两种。也就是一个随机变量的取值只有0和1。记为: 0-1分布 或B(1,p)，其中 p 表示一次伯努利实验中结果为正或为1的概率。 概率计算： P(X=0)=p0P(X=1)=p1 期望计算： E
阅读全文
