请叫我杨先生

摘要： Softmax 基础 1.计算Softmax的导数 定义Softmax函数：\(S_j = \frac{e^{a_j}}{\sum_{k=1}^{N}e^{a_k}} \quad ∀_j ∈ 1,2,3\cdots,N\) 输入$a , a∈R^{N*1}$ , 用Softmax映射： \(S(a) 阅读全文

摘要： 负对数似然 当你看不懂的时候就请放下你的浮躁和各种想法，静下来好好琢磨琢磨这一件事情。 我们先来温习下最大似然函数 (Maximum Likelihood Estimation, MLE) 《茆诗松概率论与数理统计》第六章 例：6.3.1 设有外形完全相同的两个箱子，甲箱中有99个白球和1个黑球，乙 阅读全文

摘要： 交叉熵损失函数 关于信息熵我们已经在上一篇文章中有详细的讲解了"Click here to visit"， 对于二分类的问题，信息熵计算公式为： \(H(X) = -\Sigma_{i = 1}^{n} p(x_i)\log p(x_i) = -(p(x)\log p(x) +(1-p(x))\lo 阅读全文

摘要： 信息熵 信息论之父C.E.Shannon 香农，在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 What's Com 阅读全文

摘要： 第一阶段知识点查漏补缺 d2l 1.d2l官方也没有过多解释这个包的信息，但是却给出了用法： DESCRIPTION Please import d2l by one of the following ways: from d2l import mxnet as d2l # Use MXNet as 阅读全文

摘要： 线性回归的简单实现(基于Pytorch框架实现) ###先来简单复习下线性回归的步骤吧 #####step.1导入库函数 %matplotlib inline import random #用于随机化生成的数据 import torch #框架 from d2l import torch as d2 阅读全文

摘要： 线性回归简单实现 由于正规方程在实际应用中十分受限，所以我们一致采用最普遍的优化方式：小批量梯度下降 梯度下降原理： 小批量梯度下降： 对于小批量梯度下降，我们需要通过我们CPU和GPU的性能选择批量$b$大小，学习率lr的选择等，但是在目前的话，我们还无需理会过多。 我们使用一下的模型进行学习： 阅读全文

摘要： 矩阵求导 矩阵求导1 简单求导 假设我有A和B两个张量(可以是1x1的标量也可以是向量或者矩阵)，所谓矩阵求导 \(\frac{\partial A}{\partial B}\)， 就是矩阵A当中的每一个元素对B中的每一元素进行求导，所以求到之后的张量的元素的个数有以下情形： 那么现在我们来复习一下 阅读全文

摘要： 线性回归： 回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。 线性回归：回归中最简单的一类模型。线性回归基于几个简单的假设：首先，假设自变量 \(𝐱\) 和因变量 \(𝑦\) 之间的关系是线性的，即 阅读全文

摘要： 概率 🏷️sec_prob 在某种形式上，机器学习就是做出预测。 根据病人的临床病史，我们可能想预测他们在下一年心脏病发作的概率。在异常检测中，我们可能想要评估飞机喷气发动机的一组读数是正常运行情况的可能性有多大。在强化学习中，我们希望智能体（agent）能在一个环境中智能地行动。这意味着我们需要 阅读全文