在前文中我们使用的损失函数都是均方误差（MSE，Mean Squared Error），本篇介绍一些其他的损失函数形式，以及他们的不同用途。 1. 回归任务常用损失函数 1.1 均方误差（MSE, Mean Squared Error） 均方误差（MSE）是回归任务中最常用的损失函数之一，用于衡量模 ...

1. 什么是Overfitting 我们希望神经网络模型能够找到数据集中的一般规律，从而帮助我们预测未知数据。这个过程是通过不断地迭代优化损失函数（也就是预测值和实际值的误差）而实现的。然而随着误差进一步缩小，模型的“走势”过于“贴合”我们的训练数据，对训练数据中的噪声也过于趋近，把这些噪声数据也学 ...

前言 深度学习已经彻底改变了模式识别，引入了一系列技术，包括计算机视觉、自然语言处理、自动语音识别。 要成功地应用深度学习，必须知道（1）如何抛出一个问题（2）建模的数学方法（3）将模型与数据拟合的算法（4）以及实现所有这些的工程技术。 这本书提供了一个全面的资源，包括文本、图表、数学和代码，都集中 ...

弃权学习（learning with abstention）主要是为了使分类器在学习过程中可能出现的误导性或者不正确的信息时（这常被称为“幻觉”），能够对做出预测进行弃权。目前，弃权学习的方法主要可以分为以下几种：基于置信度的方法（confidence-based methods）。这种方法在预训练... ...

在01 深度学习基础及前向神经网络中，我们在讲解前向传播时，向中间层加入了Relu激活函数。我们提到这是为了向模型中添加非线性特性，从而让模型具有更强的表达能力。本篇将继续研究一些常见的激活函数，以及他们不同的特性。 1. 什么是激活函数 我们看一个基本的神经网络模型： 其中输入的x1，x2，x3三 ...

在01 深度学习基础及前向传播中，我们已经搭建好了一个基础的三层神经网络架构，如图： 它由三个输入features：x1、x2、x3，一个输出：y，中间的hidden layer包含两个nodes，采用ReLU作为激活函数。 其前向传播的计算过程为： 已知的数据如下，输入矩阵x中，列向量对应每一个f ...

什么是深度学习 深度学习（deep learning）、机器学习（machine learning）、神经网络（neural network）以及人工智能（artificial intelligence），这几个概念在我们日常海量的信息来源中常常容易被混淆。我认为以下这幅图能够较为清晰地阐明它们之间 ...

squeeze() 和 unsqueeze()函数 torch.squeeze(A，N) torch.unsqueeze()函数的作用减少数组A指定位置N的维度，如果不指定位置参数N，如果数组A的维度为（1，1，3）那么执行 torch.squeeze(A，1) 后A的维度变为 （1，3），中间的维 ...

深度学习经典“鱼书”，下载地址：https://pdfs.top/book/深度学习入门：基于Python的理论与实现.html。本书深入浅出地介绍了深度学习的原理，使用Python3从零开始构建深度学习模型。书中详细讲解了神经网络、误差反向传播法、卷积神经网络等核心技术，并探讨了深度学习在自动驾驶... ...

DeepSeek-R1 模型微调系列 DeepSeek-R1 模型微调系列一. 前言介绍本文内容：1.1 项目背景1.2 LoRA和 QLoRA 简介1.3 LLaMA 架构和 Qwen 架构LLaMA 架构Qwen 架构二. 环境准备2.1 Unsloth 安装（显卡版本-暂时不用）2.2 创建P ...

人工智能书籍教程，日本深度学习入门书，基于python3，从零创建一个深度学习模型。 本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3，尽量不依赖外部库或工具，从基本的数学知识出发，带领读者从零创建一个经典的深度学习网络，使读者在此过程中逐步理解深度... ...

论文提出了Tree-hybrid MLP（T-MLP）方法，其核心思想是结合GBDT的特征选择和模型集成优势与DNN的高维特征空间和光滑优化特性，通过张量化GBDT特征门、DNN架构剪枝和反向传播协同训练MLP模型，以实现高效、有效的表数据预测。 ...

卷积神经网络CNN CNN原理 关于CNN的原理本文使用代码的方式来直观理解卷积中各个操作过程。 卷积 卷积层是CNN的核心组件，通过可学习的卷积核在输入特征图上进行滑动窗口操作。每个位置上，卷积核与输入进行逐元素乘积并求和，得到输出特征图上的一个值。多个卷积核并行工作可以提取不同的特征模式。卷积层 ...

高斯分布，也被称为正态分布，广泛应用于连续型随机变量分布的模型中。高斯分布可以从多个不同的角度来理解。例如，对于一个一元实值向量，使得熵取得最大值的是高斯分布。这个性质对于多元高斯分布也成立。当我们考虑多个随机变量之和的时候，也会产生高斯分布。观察式多元高斯分布的形式，考虑其中在指数位置上出现的二次... ...

13.向量的线性相关性&内积&范数&正交 13.1 向量组的线性相关性 13.1.1 定义 对于任意向量组\(A:a_1,a_2,a_3,...,a_n\)，存在不全为0的数\(k_i(i=1,2,3,...,m)\)，使： \[\tag{1} \sum_{i=1}^mk_i\cdot a_i=0 ...

12.矩阵的秩及相关性质 12.1 k阶子式 12.1.1 k阶子式示例 设存在以下矩阵： \[X_{mn}= \begin{bmatrix} x_{11} & x_{12} & x_{13} & ... & x_{1n}\\ x_{21} & x_{22} & x_{23} & ... & x_{ ...

11.三种初等矩阵及其性质 11.1 三种初等矩阵 设存在列向量A： \[A= \begin{bmatrix} a_1\\ a_2\\ a_3\\ a_4\\ ...\\ a_i\\ ...\\ a_j\\ ...\\ a_n \end{bmatrix} \]则以下\(X_1,X_2,X_3\)三种 ...

离散随机变量的二项分布和多项式分布，以及连续随机变量的高斯分布，这些都是参数分布（parmetric distribution）的具体例子。之所以被称为参数分布，是因为少量可调节的参数控制了整个概率分布。在频率派的观点中，我们通过最优化某些准则（例如似然函数）来确定参数的具体值。而在贝叶斯派的观点中... ...

10.矩阵的初等变换 10.1 矩阵初等变换的规则 对于任意存在第\(i,j\)两行、或第\(i,j\)两列的矩阵，满足以下初等变换规则： 10.1.1 对调 对调\(i,j\)两行，记为：\(r_i \leftrightarrow r_j\) 对调\(i,j\)两列，记为：\(c_i \leftr ...

9.矩阵的逆-分块矩阵 9.1 分块矩阵的加法 设矩阵\(A、B均为m\times n\)的矩阵，且A、B均按相同的方式划分为\(s \times t\)块，其中： \[A= \begin{bmatrix} A_{11} &...&A_{1t}\\ &...&\\ A_{s1} &...&A_{st ...