随笔分类 - 数学基础
摘要:在机器学习和深度学习里,极大似然估计是一个基础算法,这篇文章主要记录一下极大似然估计作用和原理 例 现在我们抛一枚特制的硬币,假设他正面朝上的概率是θ,显然这是一个二项分布,反面额概率就是1-θ,用公式表示如下 他的概率函数: 拆开写就是 似然函数: 假设投了5次硬币,结果是10011(3正2反),
阅读全文
摘要:m表示样本个数,n表示特征个数,Θ表示参数,x的上标表示样本个数,下标表示是第几个特征。 一个训练样本的多个特征与参数进行运算可以写成矩阵形式 将一个样本中每个Θ和一个样本x中的每个特征xj都看作列向量中的元素,那么上式就可以写成 Θ和x都是列向量,损失函数J(Θ)表示如下 梯度下降求偏导时候不一样
阅读全文