AI 大模型
刷新
聊聊ChatGLM-6B医疗数据微调

博主头像 转载请注明出处: https://www.cnblogs.com/zhiyong-ITNote/ 参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。 最终基于liu ...

聊聊大模型的微调实现及其应用

博主头像 转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote 微调框架概述 模型的微调有多种方式，对于入门的来说，一般都是基于官方的文档微调；最近发现很多开源库，其目的就是支持应用多种微调策略来微调模型，简化模型的微调门槛。比如 ChatGLM-Efficient- ...

使用Nginx将大模型Web应用部署到公网

博主头像 使用Nginx将大模型Web应用部署到公网 大模型训练完毕后，我们可以用SWIFT快速构建一个Web Demo大模型Web应用，本文将介绍如何使用Nginx将大模型Web应用部署到公网。 在进行后续步骤之前，先按照搭建一个大模型API服务中的方法安装好SWIFT框架，并激活到你的conda环境。 启 ...

RAG实战6-如何在LlamaIndex中使用自己搭建的API

博主头像 RAG实战6-如何在LlamaIndex使用自己搭建的大模型API 在搭建一个大模型API服务中，我们介绍了如何使用SWIFT框架搭建一个大模型API服务。在RAG实战1-5中，我们一直使用的是本地加载大模型的方式来调用大模型，本文将介绍如何在LlamaIndex中使用自己搭建的大模型API。 Ll ...

【译】LWM，AI 世界模型的黎明？

博主头像 原作：格列高利的伊格内修斯 引言：从语言到视频 AI行业的下一个里程碑--视频的征服真在加剧。 借助业界最热门的创新之一“Ring Attention（环形注意力、环形使者）”，一组研究人员构建了 LWM 视频模型，尽管这些模型还非常小，但包含的功能超越了目前ChatGPT的能力。 然而，基于视频的 ...

万字带你了解ChatGLM

博主头像 本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题（第二期）-第一课：ChatGLM》，作者： 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动微分、分布式训练和推理、模型部署等功能，支持多种硬件平台， ...

监控大模型训练

博主头像 监控大模型训练 大模型训练时间久，而且过程中容易出现各种各样的问题而中断，中断之后不及时续练的话对GPU资源是很大的浪费，但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练，以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多，这里介绍两个方式。 根据lo ...

Mac下使用Docker快速布署FastGPT实现AI私有知识库

博主头像 FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！ 官网地址为：https://github.com/labring/FastGPT 应用场景 具体的玩法是什么：添加或者采集文 ...

Linux nohup命令详解

博主头像 Linux nohup命令详解 我们自己笔记本或台式机的显卡往往不能支持我们进行深度学习实验或大模型训练，因此我们往往使用SSH连接服务器然后去运行代码。 有的时候我们跑的程序需要跑几个小时甚至几天，这样我们就需要一直开着电脑挂着SSH；偶尔也会遇上网络断开，程序半途中止的情况。 所以，我们需要一个 ...

RAG实战5-自定义prompt

博主头像 RAG实战5-自定义prompt 在阅读本文之前，先阅读RAG实战4。在RAG实战4中我们分析了LlamaIndex中RAG的执行过程，同时留下了一个尚待解决的问题：LlamaIndex中提供的prompt template都是英文的，该如何使用中文的prompt template呢？ 直接看以下代 ...

自我认知微调

博主头像 自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的，大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别，我们既可以使用任意的微调方式来实现自我认知微调。区别在于，自我认知微调需要使用专 ...

RAG实战4-RAG过程中发生了什么？

博主头像 RAG实战4-RAG过程中发生了什么？ 在RAG实战3中我们介绍了如何追踪哪些文档片段被用于检索增强生成，但我们仍不知道RAG过程中到底发生了什么，为什么大模型能够根据检索出的文档片段进行回复？本文将用一个简单的例子来解释前面的问题。 在阅读本文之前，请先阅读RAG实战3。 回答：为什么大模型能够根 ...

【译】Claude 3, ChatGPT, 和 LLM 的消亡

博主头像 原作：伊格纳西奥·德格雷戈里奥 引言：语言时代的终结？ 昨天，AI 领域的另一个关键参与者 Anthropic 宣布了生成式 AI 王座的新竞争者，即 Claude 的最新版本 Claude 3。 它展示了三种模型Opus、Sonnet 和 Haiku ，每种模型都适用于特定的场景，一些初步结果显示 ...

本地部署FastGPT使用在线大语言模型

博主头像 FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所 ...

<1···8910···15>