星光熠熠

摘要： 一、什么是注意力机制 传统的 Seq2Seq 模型中，编码器在处理源句时，无论其长度如何，最终都只能将整句信息压缩为一个固定长度的上下文向量，用作解码器的唯一参考。这种设计存在两个显著问题： 信息压缩困难：固定向量难以完整表达长句或复杂语义，容易丢失关键信息。 缺乏动态感知：解码器在每一步生成中都只 阅读全文

摘要： 一、什么是 Seq2Seq 模型 传统的自然语言处理任务（如文本分类、序列标注）以静态输出为主，其目标是预测固定类别或标签。然而，现实中的许多应用需要模型动态生成新的序列，例如： 机器翻译：输入中文句子，输出对应的英文翻译。 文本摘要：输入长篇文章，生成简短的摘要。 问答系统：输入用户问题，生成自然 阅读全文

摘要： 一、什么是 GRU 模型 Gate Recurrent Unit（GRU）是为了进一步简化 LSTM 结构，降低计算成本而提出的一种变体。GRU 保留了门控机制的核心思想，但相比 LSTM 而言，GRU 结构更为简洁，参数更少，训练效率更高。在许多实际任务中，GRU 能在保持类似性能的同时，显著减少 阅读全文

摘要： 一、什么是 LSTM 模型 为了缓解 RNN 梯度消失或者梯度抱着问题，Hochreiter 和 Schmidhuber 与 1997 年提出了 长短期记忆网络（Long Short - Term Memory, LSTM）。LSTM 通过引入特殊的记忆单元，有效提升了模型对长序列依赖的关系的建模能 阅读全文

摘要： 一、什么是循环神经网络 在自然语言中，词语的顺序对于理解句子的含义至关重要。虽然词向量能够表示词语的语义，但它本省并不包含词语之间的顺序信息。为了解决这个问题，学者最先提出 RNN 模型（Recurrent Neural Network，循环神经网络）。 RNN 会逐个读取句子中的词语，并在每一步结 阅读全文

摘要： 一、文本表示 文本表示 是将自然语言转换为计算机能够理解的数值形式，是绝大多数自然语言处理（NLP）任务的基础步骤。 文本表示的第一步通常是 分词 和 词表构建。 分词（Tokenization）：将原始文本切分为若干具有独立语义的最小单元（即 token）的过程，是所有 NLP 任务的起点。 词表 阅读全文

摘要： 一、什么是自然语言处理 自然语言处理（Natural Language Processing，NLP）是让 计算机理解或使用人类日常使用的语言。自然语言处理包含多个典型的任务，主要可分为以下几类： 文本分类：对整段文本进行判断或归类，常用于情感分析（判断评价是正面还是负面）、垃圾邮件识别、新闻主题分 阅读全文

摘要： 一、Seaborn库简介 Seaborn 是一个基于 Matplotlib 构建的 Python 数据可视化库，它提供了一套高级 API，让你可以用更少的代码，绘制出更美观、信息更丰富的统计图形。 我们可以终端中使用 pip 安装 seaborn 包。默认是从国外的主站上下载，因此，我们可能会遇到网 阅读全文

摘要： 一、什么是循环神经网络 循环神经网络（Recurrent Neural Network, RNN）是一种 专门处理序列数据的神经网络。与传统的前馈神经网络不同，RNN 具有 “循环” 结构，能够处理和记住前面时间步的信息，使其特别适合用于时间序列数据或有时序依赖的任务。 循环神经网络常用于以下一个方 阅读全文

摘要： 一、什么是卷积神经网络 卷积神经网络（Convolutional Neural Network, CNN）是含有卷积层的神经网络，卷积层的作用就是用来自动学习，提取图像的特征。 CNN 网络主要有三部分组成：卷积层、池化层 和 全连接层： 卷积层：负责提取图像中的局部特征。 池化层：用来大幅度降低参 阅读全文