mengrennwpu

随笔- 159 文章- 1 评论- 34 阅读- 44万

2024年5月20日

LLM实战：当网页爬虫集成gpt3.5

摘要：

本文主要是通过Scrapegraph-ai集成gpt3.5实现一个简单的网页爬取并解析的demo应用，其中涉及到gpt3.5免费申请，Scrapegraph-ai底层原理简介，demo应用源码等。阅读全文

posted @ 2024-05-20 20:50 mengrennwpu 阅读(933) 评论(0) 推荐(0) 编辑

2024年5月16日

LLM实战：LLM微调加速神器-Unsloth + Qwen1.5

摘要：

本文主要是使用unsloth框架针对Qwen1.5的高效微调实验，提供了详细的对比代码以及不同维度的对比分析结果。阅读全文

posted @ 2024-05-16 21:18 mengrennwpu 阅读(763) 评论(0) 推荐(1) 编辑

2024年5月14日

LLM实战：LLM微调加速神器-Unsloth + LLama3

摘要：

本文主要是使用unsloth框架针对llama3的高效微调实验，提供了详细的对比代码以及不同维度的对比分析结果。阅读全文

posted @ 2024-05-14 10:00 mengrennwpu 阅读(3240) 评论(0) 推荐(1) 编辑

2024年4月28日

LLM优化：开源星火13B显卡及内存占用优化

摘要：

本文主要是针对开源星火13B的显存及内存占用过大的一个代码优化。核心思想是使用CPU预加载模型，再转换至GPU。阅读全文

posted @ 2024-04-28 16:46 mengrennwpu 阅读(753) 评论(1) 推荐(0) 编辑

2024年4月25日

LLM应用实战：当KBQA集成LLM(二)

摘要：

本文主要是针对KBQA方案基于LLM实现存在的问题进行优化，主要涉及到图谱存储至Es，且支持Es的向量检索，还有解决了一部分基于属性值倒查实体的场景，且效果相对提升。阅读全文

posted @ 2024-04-25 21:16 mengrennwpu 阅读(510) 评论(1) 推荐(0) 编辑

2024年4月11日

LLM应用实战：当KBQA集成LLM

摘要：

将传统KBQA中的部分模块，如NLU、指代消解、实体对齐等任务，完全由LLM实现阅读全文

posted @ 2024-04-11 10:56 mengrennwpu 阅读(718) 评论(3) 推荐(2) 编辑

2024年4月2日

LLM面面观之MoE

摘要：

此文是本qiang~针对大语言模型的MoE的整理，包括原理、流程及部分源码阅读全文

posted @ 2024-04-02 09:28 mengrennwpu 阅读(1385) 评论(0) 推荐(0) 编辑

2024年1月31日

LLM面面观之RLHF平替算法DPO

摘要：

此文是本qiang~针对大语言模型的DPO算法的整理，包括原理、流程及部分源码。阅读全文

posted @ 2024-01-31 12:37 mengrennwpu 阅读(3475) 评论(1) 推荐(0) 编辑

2024年1月22日

LLM面面观之LLM上下文扩展方案

摘要：

1. 背景本qiang~这段时间调研了LLM上下文扩展的问题，并且实打实的运行了几个开源的项目，所谓实践与理论相结合嘛！此文是本qiang~针对上下文扩展问题的总结，包括解决方案的整理概括，文中参考了多篇有意义的文章，他山之石可以攻玉。大语言模型的扩展有诸多意义，如进行更长的会话、总结更长的文阅读全文

posted @ 2024-01-22 13:48 mengrennwpu 阅读(1098) 评论(0) 推荐(1) 编辑

2023年12月14日

LLM面面观之LLM复读机问题及解决方案

摘要：