合集-大语言模型学习
摘要:大语言模型学习-1.大语言模型学习系列博客序 本系列博客是介绍学习大语言模型的博客。系列下的全部博客都可以在页面顶部的合集中找到。合集是排好顺序的,按合集顺序阅读即可。
阅读全文
摘要:大语言模型-2.书生浦语大模型全链路开源体系 书生浦语大模型实战营学习笔记-1.认识书生浦语大模型全链路开源体系 本系列随笔学习搬运第二期书生浦语大模型实战营的相关内容,通过使用InternLM的一套已经封装好的工具,熟悉大模型相关技能。 本文包括第二期实战营的第一课内容和InternLM2技术报告
阅读全文
摘要:大语言模型-3.InternLM2 Demo实操 书生浦语大模型实战营第二期第二节作业 本文包括第二期实战营的第2课作业的相关内容。本来是想在学习笔记中给InetrnLM官方教程做做补充的,没想到官方教程的质量还是相当高的,跟着一步一步做没啥坑。所以这篇随笔主要记录一下作业中的步骤,另外拆解一下 I
阅读全文
摘要:大语言模型-4.LLM基础能力实现 书生浦语大模型实战营学习笔记-2.LLM基础能力实现 本文包括第二期实战营的第2课内容。本来是想在笔记中给官方教程做做补充的,没想到官方教程的质量还是相当高的,跟着一步一步做没啥坑。所以这篇笔记主要学习一下官方Demo中的一些代码等细节内容。 本文标题中大语言模型
阅读全文
摘要:title: llama3源码解读 tags: DL 本来不是很想写这一篇,因为网上的文章真的烂大街了,我写的真的很有可能没别人写得好。但是想了想,创建这个博客就是想通过对外输出知识的方式来提高自身水平,而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善,这篇博客会解析现在
阅读全文
摘要:多模态大模型概述-大语言模型6 想了很久,最后还是写了这篇。 LLaVA 贡献 多模态指令数据。当下关键的挑战之一是缺乏视觉与语言组成的指令数据。本文提出了一个数据重组方式,使用 ChatGPT/GPT-4 将图像 - 文本对转换为适当的指令格式; 大型多模态模型。研究者通过连接 CLIP 的开源视
阅读全文
摘要:大语言模型-7.模型微调 书生浦语大模型实战营学习笔记-4.模型微调 本节对应的视频教程为B站链接。笔记对视频的理论部分进行了整理。部分内容参考李宏毅2024春《生成式人工智能导论》和三分钟学会大模型PEFT的LORA算法 lora_rank, lora_alpha 大模型的训练过程 模型视角 这里
阅读全文
摘要:title: XTuner 微调 LLM-书生浦语大模型实战营第二期第4节作业 tags: 这一作业中提及的解释比较少,更多的只是一些步骤截图。这是因为教程中已经提及了几乎所有的细节信息,没有什么需要补充的。这个页面相较于官方教程的部分解释得过于详细的内容甚至是有所删减的。比如关于文件路径可视化的步
阅读全文
摘要:title: LLaVA 微调教程 date: 2024-05-12 19:37:14 categories: 写完之后发现他好像不是很需要这个东西,所以就先发在自己的博客好了。不投稿首页或者候选区应该本来也就不会有多少流量,所以应该不会干嘛的,大不了后面被说不让放网上以后就删掉这篇,嘻嘻。 LLa
阅读全文
摘要:大语言模型学习-9.检索增强生成RAG 书生浦语大模型实战营学习笔记3 本文主要涉及检索增强生成相关基础知识,也包括第二期实战营的第3课的内容 动机 当今大语言模型存在幻觉现象,即大模型会无意义或不忠实于所提供源内容的生成内容(generated content that is nonsensica
阅读全文
摘要:书生浦语大模型实战营第二期第3节作业 本页面包括实战营第二期第三节作业的全部操作步骤。如果需要知道RAG相关知识请访问学习笔记。 作业要求 基础作业 在茴香豆 Web 版中创建自己领域的知识问答助手 参考视频零编程玩转大模型,学习茴香豆部署群聊助手 完成不少于 400 字的笔记 + 线上茴香豆助手对
阅读全文
摘要:大语言模型学习:10.智能体Agent 书生浦语大模型实战营学习笔记6 两个月之后的6月13日,特意来重写这部分的内容。之前关于智能体介绍得太粗糙了。这次修订主要是把整体逻辑换成吴恩达的逻辑,更多参考了deeplearning.ai上面的内容 定义 我们将智能体Agent定义为具有感知、规划、行动3
阅读全文
摘要:大语言模型-11.模型压缩与部署 书生浦语大模型实战营学习笔记4-模型压缩与部署 本文包括第二期实战营的第5课内容,介绍关于模型压缩的相关内容,主要包括、模型量化和模型部署的相关内容。 模型部署 定义:在软件工程中,部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域,模型部署是实现深度学习
阅读全文
摘要:书生浦语大模型实战营第二期第5节作业 本页面包括实战营第二期第五节作业的全部操作步骤。如果需要知道模型量化部署的相关知识请访问学习笔记。 作业要求 基础作业 完成以下任务,并将实现过程记录截图: 配置lmdeploy运行环境 下载internlm-chat-1.8b模型 以命令行方式与模型对话 进阶
阅读全文
摘要:大语言模型学习-12.模型评测 书生浦语大模型实战营学习笔记7 视频教程特别像广告,所以这篇博客参考了很多其他内容给大家参考,主要是下面几个页面: https://zhuanlan.zhihu.com/p/641416694 https://www.cnblogs.com/justLittleSta
阅读全文
摘要:title: OpenCompass-书生浦语大模型实战营第二期第7节作业 tags: 书生浦语大模型实战营第二期第7节作业 这一节的作业和第6节作业一样没有特别多好说的,以运行结果为主。 基础作业 使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数
阅读全文
摘要:书生浦语大模型实战营第二期参营总结 动机 在历史洪流面前,人轻浮得像一粒沙:今年的Java后端又要炸了。作为一条研究方向为图像处理、导师不放暑期实习的硕士牛马,自觉疲惫。既然对就业的准备暂时略感疲惫,科研又有导师天天push自然不会太主动,那就换换心情学点LLM相关的内容满足自己的兴趣。刚好有好友推
阅读全文