随笔分类 - NLP
摘要：在自然语言处理中，tokenizer 是一个非常关键的组件，它将文本转化为模型可以理解的格式。这个过程通常包括以下几个步骤： 1. 文本标准化 小写化：将所有文本转换为小写，以减少不同形式的单词（如 "Apple" 和 "apple"）被视为不同词的情况。 去除标点符号：删除或替换标点符号，不过在某
阅读全文
摘要：RoBERTa（A Robustly Optimized BERT Approach）是 BERT 模型的一个改进版本，由 Facebook AI Research 团队在 2019 年提出。RoBERTa 在 BERT 的基础上，通过调整训练策略和数据量，大幅提高了模型的性能。 RoBERTa 的
阅读全文
摘要：Word2Vec 是一种用于生成词向量的模型，由 Tomas Mikolov 等人在 2013 年提出。它通过从大量语料库中学习，捕捉词汇之间的语义关系。Word2Vec 主要包括两种模型架构： 1. CBOW（Continuous Bag of Words）模型 CBOW 模型通过上下文词来预测中
阅读全文
摘要：CBOW（Continuous Bag of Words）是一种常用于自然语言处理的词嵌入模型，属于Word2Vec的一部分。CBOW模型的目标是通过上下文词来预测中心词。它通过在大规模语料库中学习词汇之间的共现关系，生成词向量表示。 CBOW模型的工作原理 上下文窗口：CBOW模型的核心思想是利用
阅读全文
摘要：Vision Transformer (ViT) 分类标识符 Vision Transformer (ViT) 分类标识符 1. 初始化分类标识符 在ViT中，分类标识符是一个可学习的向量，通常在模型初始化时随机初始化。这个标识符的维度与图像块的嵌入向量维度相同，通常记作 zcls，其大小为 D（与
阅读全文
摘要：Vision Transformer (ViT) 位置编码 Vision Transformer (ViT) 位置编码 1. 生成位置编码 对于每个图像块（patch），根据其位置生成一个对应的编码向量。假设每个图像块的嵌入向量维度为 D，则位置编码的维度也是 D。 ViT 通常使用可学习的绝对位置
阅读全文
摘要：在我们平常面试和工程中会用到BN和LN，但或许没有去了解过BN和LN到底在那个维度上进行的正则化（减均值除以标准差）。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化)： BatchNorm一共有三个函数分别是BatchNorm1d，BatchNor
阅读全文
摘要：中文文本处理有多种专门的词嵌入（embedding）方法。与英文相似，中文的词嵌入方法可以帮助将文本数据转换为机器学习模型可以处理的向量表示。以下是一些常见的中文词嵌入方式： 1. Word2Vec 简介: Word2Vec 是一种广泛使用的词嵌入技术，可以应用于中文和其他语言。中文的 Word2V
阅读全文
摘要：Word2Vec 的词向量维度（embedding dimension）不是固定的，可以根据需要进行设置。默认值取决于具体的实现和训练配置。以下是一些常见的默认维度设置： 常见的默认词向量维度 Google 的预训练 Word2Vec 模型: 维度: 300 说明: Google 提供的预训练 Wo
阅读全文
摘要：使用预训练的 Word2Vec 向量来初始化词嵌入矩阵的过程涉及以下几个步骤： 1. 下载预训练的 Word2Vec 向量 获取模型: 预训练的 Word2Vec 向量通常可以从模型发布者的官方网站或开源平台下载。例如，Google 提供了大规模的预训练 Word2Vec 向量。 文件格式: 预训练
阅读全文
摘要：在词嵌入的初始化阶段，使用随机值初始化和预训练的词向量是两种不同的策略，各有其特点和应用场景。以下是这两种方法的具体区别以及随机初始化的取值范围： 随机值初始化 定义 随机初始化是指在模型训练开始时，用随机生成的值来填充词嵌入矩阵。这个过程通常使用均匀分布或正态分布生成随机值。 优点 简单直接: 随
阅读全文
摘要：词嵌入（Word Embedding）是将离散的词语转换为连续的向量表示，以便模型可以处理这些向量。词嵌入的目的是将词语映射到一个低维的实数向量空间中，使得词与词之间的语义关系在这个空间中得到体现。 词嵌入的具体步骤 1. 准备词汇表 构建词汇表: 从训练数据中提取所有唯一的词汇，并为每个词汇分配一
阅读全文
摘要：在自然语言处理（NLP）任务中，<SOS> 和 <EOS> 是两种特殊的标记，用于帮助模型理解文本的结构和顺序。它们通常用于序列生成任务，如机器翻译、文本生成和对话系统。以下是它们的具体含义和用途： <SOS>（Start Of Sequence） 定义: <SOS> 代表“序列开始”（Start
阅读全文
摘要：词汇表构建（Vocabulary Building）是文本数据预处理中的关键步骤，涉及从训练语料中生成一个包含所有可识别单词、子词或字符的集合。具体做法如下： 1. 数据收集与清洗 数据收集: 收集所有待处理的文本数据，包括训练集、验证集和测试集。 数据清洗: 在构建词汇表之前，清洗数据以去除噪声和
阅读全文
摘要：在文本处理过程中，分词可以将文本拆解成不同层次的基本单元：词、子词或字符。这些基本单元在自然语言处理（NLP）任务中有不同的应用场景和效果。以下是对词、子词、字符的解释和举例说明： 1. 词（Word） 定义: 词是文本中由空格或标点符号分隔的最基本的语义单元。每个词通常代表一种独立的含义。 举例:
阅读全文
摘要：文本输入的数据预处理是自然语言处理（NLP）模型构建的重要环节，确保原始文本数据能够被模型理解并有效利用。以下是详细的文本输入数据预处理步骤： 1. 文本清洗（Text Cleaning） 去除特殊字符: 删除不必要的标点符号、表情符号等特殊字符，保持文本简洁。 转为小写: 通常将文本转换为小写，以
阅读全文
摘要：图像输入 1. 数据预处理 尺寸调整（Resizing）: 将图像调整到统一的尺寸，如 224 × 224 或 256 × 256。 归一化（Normalization）: 对每个像素值进行归一化，像素值通常归一化到 [0, 1] 或 [-1, 1] 范围。 数据增强（Data Augmentati
阅读全文
摘要：多头自注意力机制计算示例 多头自注意力机制计算示例 1. 输入序列和权重矩阵 假设输入序列 X 如下： X [1, 0, 1, 0] [0, 1, 0, 1] [1, 1, 1, 1] 我们有两个头，分别对应的权重矩阵如下： 头 1 WQ(1)WK(1)WV(1) [1, 0] [1, 0] [1,
阅读全文
摘要：自注意力机制示例 自注意力机制示例 1. 输入序列 假设我们有一个简单的输入序列，包含三个词（向量表示），每个词的维度是4： x1x2x3x4 词1 1 0 1 0 词2 0 1 0 1 词3 1 1 1 1 2. 查询（Q）、键（K）和值（V）矩阵 我们定义查询、键和值的权重矩阵如下： QKV 权
阅读全文
