随笔分类 - 机器学习笔记
摘要:PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是 1. 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealin
阅读全文
摘要:直观理解反向传播法 反向传播算法其实就是 链式求导法则 的应用。按照机器学习的通用套路,我们先确定神经网络的目标函数,然后用 随机梯度下降优化算法 去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集$\{(x^{(1)},y^{(1)}),···,(x^{(m
阅读全文
摘要:原文链接:https://blog.csdn.net/zengxiantao1994/article/details/72787849 贝叶斯决策 贝叶斯分类 贝叶斯公式:p(w|x)=p(x|w)p(w)p(x) 其中:p(w):为先验概率,表示每种类别分布的概率;$p(
阅读全文
摘要:原文地址:https://borgwang.github.io/ml/2019/07/28/gaussian processes.html 一元高斯分布 概率密度函数:$$p(x) = \frac{1}{\sigma\sqrt{2\pi}}\mathrm{exp}( \frac{(x \mu)^2}
阅读全文
摘要:转载自: "神经网络基础" , "深度学习系列(1):神经网络与反向传播算法" 神经元模型 1943年,McCulloch和Pitts将上图的神经元结构用一种简单的模型进行了表示,构成了一种人工神经元模型,也就是我们现在经常用到的“M P神经元模型”,如下图所示: 从上图M P神经元模型可以看出,神
阅读全文
摘要:转载自: "梯度下降法的三种形式BGD、SGD以及MBGD" 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 Basic 一般线性回归函数的假设函数
阅读全文
摘要:转载自: "线性回归与非线性回归:1.0一元线性回归与代价函数(损失函数)" + 回归分析:用来建立方程模拟两个或者多个变量之间如何关联 + 因变量:被预测的变量(结果/标签),输出 + 自变量:被用来进行预测的变量(特征),输入 + 一元线性回归:包含一个自变量与一个因变量,并且变量的关系用一条直
阅读全文
摘要:转载自: "原文地址" 神经网络如下图所示: 上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以看到,上面的神经元被分成了多层,层与层之间的神经元有连接,而层内之间的神经元没有连接。最左边的层叫做 输入层 ,这层负责接收输入数据;最右边的层叫 输出层 ,我们可以从这层获取神经网络输出
阅读全文