一蓑烟雨度平生

摘要： 在使用https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3提供的Generate with transformers代码进行测试时，产生以下报错： from transformers import pipeline messages = 阅读全文

摘要： 解决Debian服务器使用NetworkManager出现的DNS自动清除问题 使用vim编辑/etc/NetworkManager/NetworkManager.conf中的内容： sudo vim /etc/NetworkManager/NetworkManager.conf 在该文件的[mai 阅读全文

摘要： 在Linux服务器上部署中医知识图谱 配置Java环境 在Oracle官网或Open JDK官网下载JDK 17安装包，选择与操作系统及系统架构（32位或64位）相匹配的版本，此处使用Ubuntu系统进行演示。 使用以下命令解压JDK安装包： tar -xvf jdk-17_linux-x64_bi 阅读全文

摘要： 使用Nginx将大模型Web应用部署到公网 大模型训练完毕后，我们可以用SWIFT快速构建一个Web Demo大模型Web应用，本文将介绍如何使用Nginx将大模型Web应用部署到公网。 在进行后续步骤之前，先按照搭建一个大模型API服务中的方法安装好SWIFT框架，并激活到你的conda环境。 启 阅读全文

摘要： RAG实战6-如何在LlamaIndex使用自己搭建的大模型API 在搭建一个大模型API服务中，我们介绍了如何使用SWIFT框架搭建一个大模型API服务。在RAG实战1-5中，我们一直使用的是本地加载大模型的方式来调用大模型，本文将介绍如何在LlamaIndex中使用自己搭建的大模型API。 Ll 阅读全文

摘要： 监控大模型训练 大模型训练时间久，而且过程中容易出现各种各样的问题而中断，中断之后不及时续练的话对GPU资源是很大的浪费，但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练，以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多，这里介绍两个方式。 根据lo 阅读全文

摘要： Linux nohup命令详解 我们自己笔记本或台式机的显卡往往不能支持我们进行深度学习实验或大模型训练，因此我们往往使用SSH连接服务器然后去运行代码。 有的时候我们跑的程序需要跑几个小时甚至几天，这样我们就需要一直开着电脑挂着SSH；偶尔也会遇上网络断开，程序半途中止的情况。 所以，我们需要一个 阅读全文

摘要： RAG实战5-自定义prompt 在阅读本文之前，先阅读RAG实战4。在RAG实战4中我们分析了LlamaIndex中RAG的执行过程，同时留下了一个尚待解决的问题：LlamaIndex中提供的prompt template都是英文的，该如何使用中文的prompt template呢？ 直接看以下代 阅读全文

摘要： 自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的，大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别，我们既可以使用任意的微调方式来实现自我认知微调。区别在于，自我认知微调需要使用专 阅读全文

摘要： RAG实战4-RAG过程中发生了什么？ 在RAG实战3中我们介绍了如何追踪哪些文档片段被用于检索增强生成，但我们仍不知道RAG过程中到底发生了什么，为什么大模型能够根据检索出的文档片段进行回复？本文将用一个简单的例子来解释前面的问题。 在阅读本文之前，请先阅读RAG实战3。 回答：为什么大模型能够根 阅读全文