03 2024 档案
摘要:解决Debian服务器使用NetworkManager出现的DNS自动清除问题 使用vim编辑/etc/NetworkManager/NetworkManager.conf中的内容: sudo vim /etc/NetworkManager/NetworkManager.conf 在该文件的[mai
阅读全文
摘要:在Linux服务器上部署中医知识图谱 配置Java环境 在Oracle官网或Open JDK官网下载JDK 17安装包,选择与操作系统及系统架构(32位或64位)相匹配的版本,此处使用Ubuntu系统进行演示。 使用以下命令解压JDK安装包: tar -xvf jdk-17_linux-x64_bi
阅读全文
摘要:使用Nginx将大模型Web应用部署到公网 大模型训练完毕后,我们可以用SWIFT快速构建一个Web Demo大模型Web应用,本文将介绍如何使用Nginx将大模型Web应用部署到公网。 在进行后续步骤之前,先按照搭建一个大模型API服务中的方法安装好SWIFT框架,并激活到你的conda环境。 启
阅读全文
摘要:RAG实战6-如何在LlamaIndex使用自己搭建的大模型API 在搭建一个大模型API服务中,我们介绍了如何使用SWIFT框架搭建一个大模型API服务。在RAG实战1-5中,我们一直使用的是本地加载大模型的方式来调用大模型,本文将介绍如何在LlamaIndex中使用自己搭建的大模型API。 Ll
阅读全文
摘要:监控大模型训练 大模型训练时间久,而且过程中容易出现各种各样的问题而中断,中断之后不及时续练的话对GPU资源是很大的浪费,但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练,以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多,这里介绍两个方式。 根据lo
阅读全文
摘要:Linux nohup命令详解 我们自己笔记本或台式机的显卡往往不能支持我们进行深度学习实验或大模型训练,因此我们往往使用SSH连接服务器然后去运行代码。 有的时候我们跑的程序需要跑几个小时甚至几天,这样我们就需要一直开着电脑挂着SSH;偶尔也会遇上网络断开,程序半途中止的情况。 所以,我们需要一个
阅读全文
摘要:RAG实战5-自定义prompt 在阅读本文之前,先阅读RAG实战4。在RAG实战4中我们分析了LlamaIndex中RAG的执行过程,同时留下了一个尚待解决的问题:LlamaIndex中提供的prompt template都是英文的,该如何使用中文的prompt template呢? 直接看以下代
阅读全文
摘要:自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的,大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别,我们既可以使用任意的微调方式来实现自我认知微调。区别在于,自我认知微调需要使用专
阅读全文
摘要:RAG实战4-RAG过程中发生了什么? 在RAG实战3中我们介绍了如何追踪哪些文档片段被用于检索增强生成,但我们仍不知道RAG过程中到底发生了什么,为什么大模型能够根据检索出的文档片段进行回复?本文将用一个简单的例子来解释前面的问题。 在阅读本文之前,请先阅读RAG实战3。 回答:为什么大模型能够根
阅读全文
摘要:基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3:Anaconda3-2023.03-1-Linux-
阅读全文
摘要:RAG实战3-如何追踪哪些文档片段被用于检索增强生成 本文是RAG实战2-如何使用LlamaIndex存储和读取embedding向量的续集,在阅读本文之前请先阅读前篇。 在前篇中,我们介绍了如何使用LlamaIndex存储和读取embedding向量。在本文中,我们将介绍在LlamaIndex中如
阅读全文
摘要:RAG实战2-如何使用LlamaIndex存储和读取embedding向量 本文是检索增强生成(Retrieval-augmented Generation,RAG)实战1-基于LlamaIndex构建第一个RAG应用的续集,在阅读本文之前请先阅读前篇。 在前篇中,我们介绍了如何使用LlamaInd
阅读全文
摘要:基于SWIFT和Qwen1.5-14B-Chat进行大模型全参微调测试 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3:Anaconda3-2023.03-1-Linux-x8
阅读全文
摘要:使用gradio启动web-ui时出现cannot import name 'RootModel' from 'pydantic' 出现该报错的原因:pydantic版本与gradio版本不对应。 例:我使用的pydantic版本为1.10.14,报错时gradio的版本是最新版4.19.2。 找到
阅读全文
摘要:检索增强生成(Retrieval-augmented Generation,RAG)实战1-基于LlamaIndex构建第一个RAG应用 本文将介绍如何使用LlamaIndex构建一个非常简单的RAG应用。通过该案例,可以初步了解LlamaIndex构建RAG应用的大体流程。 环境准备 安装Llam
阅读全文
摘要:Ubuntu服务器使用apt-get安装包时出现E: Unable to locate package解决方法 首先根据网络情况换源: cat > /etc/apt/sources.list << "EOF" deb https://mirrors.shanhe.com/ubuntu/ bionic
阅读全文
摘要:搭建一个大模型API服务 本文将介绍如何使用SWIFT框架搭建一个大模型API服务,以方便后续做RAG、Agent的开发工作。 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3:
阅读全文