摘要：
常用的ViT模型有许多版本和变种，它们在不同的任务和数据规模上表现出色。以下是一些常见的ViT模型及其变种： 1. ViT-B/16, ViT-B/32 ViT-B/16和ViT-B/32是Vision Transformer的基本版本，"B"代表Base模型，数字16和32代表图像块的大小（如16 阅读全文
摘要：
在Vision Transformer (ViT) 中，图像的预处理过程主要包括将图像转换为适合Transformer模型输入的格式。以下是从原始图像到模型输入所进行的主要操作步骤： 1. 图像尺寸调整 (Resize) 将输入图像调整为固定大小，通常是正方形（例如，224x224像素）。这是为了统 阅读全文
摘要：
Vision Transformer 线性映射 Vision Transformer (ViT): 线性映射 1. 展平图像块 假设输入的图像块大小为 P × P 像素，并且图像有 C 个通道（对于RGB图像，通常 C = 3）。 每个图像块被展平成一个向量，向量的维度为 P × P × C 。 例 阅读全文
摘要：
在我们平常面试和工程中会用到BN和LN，但或许没有去了解过BN和LN到底在那个维度上进行的正则化（减均值除以标准差）。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化)： BatchNorm一共有三个函数分别是BatchNorm1d，BatchNor 阅读全文
摘要：
中文文本处理有多种专门的词嵌入（embedding）方法。与英文相似，中文的词嵌入方法可以帮助将文本数据转换为机器学习模型可以处理的向量表示。以下是一些常见的中文词嵌入方式： 1. Word2Vec 简介: Word2Vec 是一种广泛使用的词嵌入技术，可以应用于中文和其他语言。中文的 Word2V 阅读全文
摘要：
Word2Vec 的词向量维度（embedding dimension）不是固定的，可以根据需要进行设置。默认值取决于具体的实现和训练配置。以下是一些常见的默认维度设置： 常见的默认词向量维度 Google 的预训练 Word2Vec 模型: 维度: 300 说明: Google 提供的预训练 Wo 阅读全文
摘要：
使用预训练的 Word2Vec 向量来初始化词嵌入矩阵的过程涉及以下几个步骤： 1. 下载预训练的 Word2Vec 向量 获取模型: 预训练的 Word2Vec 向量通常可以从模型发布者的官方网站或开源平台下载。例如，Google 提供了大规模的预训练 Word2Vec 向量。 文件格式: 预训练 阅读全文
摘要：
在词嵌入的初始化阶段，使用随机值初始化和预训练的词向量是两种不同的策略，各有其特点和应用场景。以下是这两种方法的具体区别以及随机初始化的取值范围： 随机值初始化 定义 随机初始化是指在模型训练开始时，用随机生成的值来填充词嵌入矩阵。这个过程通常使用均匀分布或正态分布生成随机值。 优点 简单直接: 随 阅读全文
摘要：
词嵌入（Word Embedding）是将离散的词语转换为连续的向量表示，以便模型可以处理这些向量。词嵌入的目的是将词语映射到一个低维的实数向量空间中，使得词与词之间的语义关系在这个空间中得到体现。 词嵌入的具体步骤 1. 准备词汇表 构建词汇表: 从训练数据中提取所有唯一的词汇，并为每个词汇分配一 阅读全文
摘要：
在自然语言处理（NLP）任务中，<SOS> 和 <EOS> 是两种特殊的标记，用于帮助模型理解文本的结构和顺序。它们通常用于序列生成任务，如机器翻译、文本生成和对话系统。以下是它们的具体含义和用途： <SOS>（Start Of Sequence） 定义: <SOS> 代表“序列开始”（Start 阅读全文
摘要：
词汇表构建（Vocabulary Building）是文本数据预处理中的关键步骤，涉及从训练语料中生成一个包含所有可识别单词、子词或字符的集合。具体做法如下： 1. 数据收集与清洗 数据收集: 收集所有待处理的文本数据，包括训练集、验证集和测试集。 数据清洗: 在构建词汇表之前，清洗数据以去除噪声和 阅读全文
摘要：
在文本处理过程中，分词可以将文本拆解成不同层次的基本单元：词、子词或字符。这些基本单元在自然语言处理（NLP）任务中有不同的应用场景和效果。以下是对词、子词、字符的解释和举例说明： 1. 词（Word） 定义: 词是文本中由空格或标点符号分隔的最基本的语义单元。每个词通常代表一种独立的含义。 举例: 阅读全文
摘要：
文本输入的数据预处理是自然语言处理（NLP）模型构建的重要环节，确保原始文本数据能够被模型理解并有效利用。以下是详细的文本输入数据预处理步骤： 1. 文本清洗（Text Cleaning） 去除特殊字符: 删除不必要的标点符号、表情符号等特殊字符，保持文本简洁。 转为小写: 通常将文本转换为小写，以 阅读全文