摘要：
1. Transformer 概述 1.1 整体结构 \(\text{Transformer}\) 主要由 \(\text{Encoder}\) 和 \(\text{Decoder}\) 两个部分组成。\(\text{Encoder}\) 部分有 \(N = 6\) 个相同的层，每层包含 一个 \( 阅读全文
摘要：
1. 神经网络 1.1 神经元 神经元（Neuron）或节点（Node） 是神经网络的基本单元。下图是一个简单的神经元示意图，\(x\) 表示 输入（\(\text{Input}\)）， \(x_i\) 表示来自于前面第 \(i\) 个 神经元（\(\text{Neuron}\)）的输入，通常会增加 阅读全文
摘要：
1. RNN 1.1 RNN 简介 循环神经网络（\(\text{Recurrent Neural Network}\)，简称 \(\text{RNN}\)）是一种用于处理序列数据的神经网络。其核心思想是使用循环结构来保持一个内部状态，这个状态理论上可以捕获到目前为止的全部信息流。\(\text{R 阅读全文
摘要：
1. one-hot 向量 我们先了解一下 \(\text{one-hot}\) 向量。\(\text{one-hot}\) 编码是表示分类变量的常见方法，尤其在数据预处理和机器学习的特征工程中。一个 \(\text{one-hot}\) 向量是一个其中只有一个元素是 1，其余为 0 的向量。 假设 阅读全文
摘要：
1. 单词与向量 1.1 Term-document 矩阵 Term-document 矩阵是信息检索和文本挖掘中常用的一种表示方法，这种矩阵是一个二维表格，用来表示词（term）在文档（document）集合中的分布情况。在这个矩阵中，行通常代表词汇（terms），列代表文档。矩阵中的每一个元素， 阅读全文
摘要：
1. 贝叶斯决策论 假设有 \(N\) 中类别标记 \(\gamma = \{c_1, c_2, \dots, c_N\}\)，\(\lambda_{ij}\) 是将一个真实标记为 \(c_{j}\) 分类为 \(c_i\) 所产生的损失。基于后验概率 \(P(c | \mathbf{x})\) 可 阅读全文
摘要：
1. N-gram 模型 1.1 N-gram 模型介绍 \(\text{N-gram}\) 是一种基于统计语言模型的算法，用于预测文本中的单词，其中 \(\text{N}\) 一般指的是序列中的单词数量。其基本思想是将文本内容进行大小为 \(\text{N}\) 的滑动窗口操作来计算概率。 例如： 阅读全文
摘要：
1. 拉格朗日乘子法 拉格朗日乘子法 是一种 将约束优化问题 转化 为 无约束优化问题 的方法。其核心思想就是通过 拉格朗日乘子 将 含有 \(n\) 个变量和 \(m\) 个约束条件的带约束优化问题转换为含有 \(n + m\) 个变量的无约束优化问题。 对于如下约束优化问题： \[\begin{ 阅读全文
摘要：
1. 共轭方向 设 \(A \in \mathbb{R}^{n \times n}\) 为 对称阵，\(p, q \in \mathbb{R}^{n \times 1}\) 为 n元列向量。如果: \[p^T A q = 0 \]则称 \(p\) 和 \(q\) 关于 \(A\) 共轭。 特别地，若 阅读全文
摘要：
1. 拟牛顿法 1.1 回顾牛顿法 牛顿法（经典牛顿法）的迭代表达式： \[x^{k + 1} = x^k - \nabla^2 f(x^k)^{-1} \nabla f(x^k) \]但是，牛顿法过程中 \(\text{Hessian}\) 矩阵 \(\nabla^2 f(x^k)\) 的计算和存 阅读全文