摘要： 
本文介绍了注意力机制的本质。从一个简单的引例开始，首先介绍了一维情况的注意力机制。进一步地，推广到多维情况的注意力机制。最后，介绍了自注意力机制。本文举的例子简单易懂，公式推导清晰明了。 阅读全文
本文介绍了注意力机制的本质。从一个简单的引例开始，首先介绍了一维情况的注意力机制。进一步地，推广到多维情况的注意力机制。最后，介绍了自注意力机制。本文举的例子简单易懂，公式推导清晰明了。 阅读全文
摘要：
欧氏距离（Euclidean Distance）是指在欧几里得空间中两点之间的直线距离。对于两个点 \((x_1, y_1)\) 和 \((x_2, y_2)\) 在二维平面上，欧氏距离的计算公式为： \[d = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2} \]在三维空 阅读全文
摘要：
高斯核（Gaussian Kernel）是一种核函数，通常用于支持向量机（Support Vector Machines）和其他机器学习算法中，特别是在非线性分类和回归任务中。它是基于高斯分布的一种核函数。 核函数是用于将数据映射到更高维度的数学函数，以便在高维空间中更容易处理非线性关系。高斯核是一 阅读全文
摘要：
Softmax 函数是一种常用的激活函数，主要用于多类别分类问题中。它将一个实数向量映射为概率分布，使得每个类别的概率值在 [0, 1] 范围内，并且所有类别的概率之和等于 1。Softmax 函数的数学表达式如下： 对于输入向量 \(\mathbf{z} = (z_1, z_2, \ldots, 阅读全文