星光熠熠

摘要： 一、T5 模型 T5（Text-to-Text Transfer Transformer）是 Google Research 于 2020 年提出的一种统一预训练框架，它首次在完整的 Transformer 编码器-解码器结构（Encoder-Decoder）上实现了预训练语言模型。T5 的核心思想 阅读全文

摘要： 一、Bert 模型 BERT（Bidirectional Encoder Representations from Transformers）是由 Google 于 2018 年提出的一种语言预训练模型。其核心创新在于采用 Transformer 的 编码器（Encoder） 结构，通过双向自注意力 阅读全文

摘要： 一、GPT 模型 GPT（Generative Pre-trained Transformer）是第一个系统性提出 “预训练 + 微调” 范式的语言模型。其核心思想是 通过大规模无监督语料进行生成式语言建模预训练，即训练模型根据左侧上下文预测下一个词，从而让模型学习自然语言的通用语法、语义和上下文依 阅读全文

摘要： 一、什么是 Transformer 模型 此前的 Seq2Seq 模型通过注意力机制取得了一定提升，但由于整体结构仍依赖 RNN，依然存在计算效率低、难以建模长距离依赖等结构性限制。 为了解决这些问题，Google 在 2017 年发表一篇论文《Attention Is All You Need》， 阅读全文

摘要： 一、什么是注意力机制 传统的 Seq2Seq 模型中，编码器在处理源句时，无论其长度如何，最终都只能将整句信息压缩为一个固定长度的上下文向量，用作解码器的唯一参考。这种设计存在两个显著问题： 信息压缩困难：固定向量难以完整表达长句或复杂语义，容易丢失关键信息。 缺乏动态感知：解码器在每一步生成中都只 阅读全文

摘要： 一、什么是 Seq2Seq 模型 传统的自然语言处理任务（如文本分类、序列标注）以静态输出为主，其目标是预测固定类别或标签。然而，现实中的许多应用需要模型动态生成新的序列，例如： 机器翻译：输入中文句子，输出对应的英文翻译。 文本摘要：输入长篇文章，生成简短的摘要。 问答系统：输入用户问题，生成自然 阅读全文

摘要： 一、什么是 GRU 模型 Gate Recurrent Unit（GRU）是为了进一步简化 LSTM 结构，降低计算成本而提出的一种变体。GRU 保留了门控机制的核心思想，但相比 LSTM 而言，GRU 结构更为简洁，参数更少，训练效率更高。在许多实际任务中，GRU 能在保持类似性能的同时，显著减少 阅读全文

摘要： 一、什么是 LSTM 模型 为了缓解 RNN 梯度消失或者梯度抱着问题，Hochreiter 和 Schmidhuber 与 1997 年提出了 长短期记忆网络（Long Short - Term Memory, LSTM）。LSTM 通过引入特殊的记忆单元，有效提升了模型对长序列依赖的关系的建模能 阅读全文

摘要： 一、什么是循环神经网络 在自然语言中，词语的顺序对于理解句子的含义至关重要。虽然词向量能够表示词语的语义，但它本省并不包含词语之间的顺序信息。为了解决这个问题，学者最先提出 RNN 模型（Recurrent Neural Network，循环神经网络）。 RNN 会逐个读取句子中的词语，并在每一步结 阅读全文

摘要： 一、文本表示 文本表示 是将自然语言转换为计算机能够理解的数值形式，是绝大多数自然语言处理（NLP）任务的基础步骤。 文本表示的第一步通常是 分词 和 词表构建。 分词（Tokenization）：将原始文本切分为若干具有独立语义的最小单元（即 token）的过程，是所有 NLP 任务的起点。 词表 阅读全文