随笔分类 -  LLM

GPT 1-3 简单介绍
摘要：GPT-1 简介 2018年6月，OpenAI公司发表了论文"Improving Language Understanding by Generative Pretraining"(用生成式预训练提高模型的语言理解能力)， 推出了具有 1.17亿个参数的GPT-1(Generative Pre-tr 阅读全文
posted @ 2024-11-03 22:28 牛犁heart 阅读(32) 评论(0) 推荐(0) 编辑
LLM主要架构
摘要：LLM本身基于Transformer架构 自2017年，Attention is all you need诞生起，原始的Transformer模型不同领域的模型提供了灵感和启发 基于原始的Transformer框架，衍生了一系列模型，一些模型仅仅使用encode或decoder，有些模型同时使用en 阅读全文
posted @ 2024-10-19 18:21 牛犁heart 阅读(233) 评论(0) 推荐(0) 编辑