01 2025 档案

Transformer，大模型的幻觉太严重，仅作参考吧

摘要：假设：输入（中文）： "我有一本书" 目标（英文）： "I have a book" A，一般过程一，训练阶段：在训练阶段，我们希望训练模型从源语言（中文）生成目标语言（英文）。在这个过程中，解码器依赖于编码器的输出，并通过与目标序列进行比较来计算损失，并优化模型参数。 # 1. 输入序列（阅读全文

posted @ 2025-01-20 20:54 Augustone 阅读(32) 评论(0) 推荐(0) 编辑

词向量为什么包含外部特征？

摘要：1，词向量的本质词向量（WordEmbedding）是通过训练得到的低维稠密向量，用于表示词汇的语义信息。在训练过程中，词向量不仅捕捉了词汇的自身特征（如词义、词性），还捕捉了词汇的上下文特征（如语法角色、位置信息、与其他词的关系）。 2，词向量的维度词向量的每个维度并不是独立的，而是通过训练数阅读全文

posted @ 2025-01-15 11:35 Augustone 阅读(20) 评论(0) 推荐(0) 编辑