摘要：
汇总一下，自己写的博客分类，方便自己日常的学习与积累。 AI LLM 聊聊心理医疗领域大模型的落地思考 聊聊大模型微调训练全流程的思考 聊聊ChatGLM-6B医疗数据微调 聊聊大模型的微调实现及其应用 GLM及其相关系列 聊聊ChatGLM-6B源码分析(二) 聊聊ChatGLM中P-tuning 阅读全文
摘要：
从现今与今后的发展来看，单一的业务不再仅仅依靠于传统的技术开发，而是应该结合AI模型来应用、实践。只有这样，才能更数智化，更高效化，更贴合时代的发展。 魔塔 社区就类似国外的Hugging Face，是一个模型即服务的运行平台。在这个平台上运行着很多的大模型示例，网站直接提供了试运行的环境，也可以下 阅读全文
摘要：
随着AI模型的普及应用与高速发展，主要的云厂商与AI大厂提供了对应的服务支持，使得业务的应用可以轻松对接AI算法，使其在实际项目中落地。 我个人也是极度推崇在项目中应用AI算法更轻松更数智化的兑现功能。 虽然AI门槛很高，但随着时间的推移与AI模型的发展，我相信对于普通的程序猿来说，还是可以入手且实 阅读全文
摘要：
概述 Github官方地址：GLM-4 网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都是关心如何使用之类的应用层，而不是其具体的底层逻辑，当然咱也说不清太底层的计算。 可了解其它loss 阅读全文
摘要：
转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 概述 自然语言处理NLP任务的实现，相比较以前基于传统机器学习算法实现方法，现在越来越集中使用大模型来实现。 通过——数据标注-模型训练-模型调优/微调-模型压缩-预测部署的大模型流程，覆盖NLP多场景满足 阅读全文
摘要：
转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 概述 在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模 阅读全文
摘要：
转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 背景 目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5和安卓两个客户端调用。但却发现了不能并发 阅读全文
摘要：
转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote SSE：Server Sent Event；服务器发送事件。 Server-Sent Events（SSE）是一种由服务器向客户端推送实时数据的技术。它是构建基于事件的、服务器到客户端的通信的一种方法，特别 阅读全文
摘要：
转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 多模态：文本、音频、视频、图像等多形态的展现形式。 目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下，审视下多模态大模型的实现方式。 首先就要区分输入与输出，即输入的模态 阅读全文
摘要：
转载请注明住处：https://www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的数据集中，一般是如下格式： [ { "conversations": [ { "from": "human", "value": "I saw a dress that I li 阅读全文
摘要：
转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 近来，工作偏向于心理医疗领域方面的大模型，仅从领域大模型的落地，聊聊个人的一些思考。 硬件 准备好花钱买GPU。 领域大模型 业务场景的思考 首先需要审视斟酌业务领域的特殊性与可行性，我们要做的是心理领域， 阅读全文
摘要：
转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 参考现有的中文医疗模型：MedicalGPT、CareGPT等领域模型的训练流程，结合ChatGPT的训练流程，总结如下： 在预训练阶段，模型会从大量无标注文本数据集中学习领域/通用知识；其次使用{有监督微 阅读全文
摘要：
转载请注明出处: https://www.cnblogs.com/zhiyong-ITNote/ 参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。 最终基于liu 阅读全文