自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的,大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别,我们既可以使用任意的微调方式来实现自我认知微调。区别在于,自我认知微调需要使用专 ...
在Chain of Thought出来后,出现过许多的优化方案,这一章我们类比人类已有的思维方式,就抽象思维和发散思维这两个方向,聊聊step back和diversity prompt ...
最近Mac系统在运行大语言模型(LLMs)方面的性能已经得到了显著提升,尤其是随着苹果M系列芯片的不断迭代,本次我们在最新的MacOs系统Sonoma中本地部署无内容审查大语言量化模型Causallm。 这里推荐使用koboldcpp项目,它是由c++编写的kobold项目,而MacOS又是典型的U ...
RAG实战4-RAG过程中发生了什么? 在RAG实战3中我们介绍了如何追踪哪些文档片段被用于检索增强生成,但我们仍不知道RAG过程中到底发生了什么,为什么大模型能够根据检索出的文档片段进行回复?本文将用一个简单的例子来解释前面的问题。 在阅读本文之前,请先阅读RAG实战3。 回答:为什么大模型能够根 ...
原作:伊格纳西奥·德格雷戈里奥 引言:语言时代的终结? 昨天,AI 领域的另一个关键参与者 Anthropic 宣布了生成式 AI 王座的新竞争者,即 Claude 的最新版本 Claude 3。 它展示了三种模型Opus、Sonnet 和 Haiku ,每种模型都适用于特定的场景,一些初步结果显示 ...
国内外AI大模型层出不穷,训练数据复杂程度更是呈指数级增加。如今,在万亿级参数时代,单个资源池已无法满足大模型训练场景中动辄PB级的数据存储量,对于企业来说,启用多个资源池构成的分布式存储势在必行。 ...
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力,它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同,为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所 ...
基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3:Anaconda3-2023.03-1-Linux- ...
RAG实战3-如何追踪哪些文档片段被用于检索增强生成 本文是RAG实战2-如何使用LlamaIndex存储和读取embedding向量的续集,在阅读本文之前请先阅读前篇。 在前篇中,我们介绍了如何使用LlamaIndex存储和读取embedding向量。在本文中,我们将介绍在LlamaIndex中如 ...
LLAMA介绍 LLaMA是由Facebook的母公司Meta AI设计的一个新的大型语言模型。LLaMA拥有70亿到650亿个参数的模型集合,是目前最全面的语言模型之一。 Llama是目前唯一一个可以进行本地部署和本地训练的大型模型,对各种提问有非常好的处理能力。非常适合个人和中小型企业,构建自己 ...
RAG实战2-如何使用LlamaIndex存储和读取embedding向量 本文是检索增强生成(Retrieval-augmented Generation,RAG)实战1-基于LlamaIndex构建第一个RAG应用的续集,在阅读本文之前请先阅读前篇。 在前篇中,我们介绍了如何使用LlamaInd ...
基于SWIFT和Qwen1.5-14B-Chat进行大模型全参微调测试 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3:Anaconda3-2023.03-1-Linux-x8 ...
为了实现大模型的高效训练和推理,混合专家模型MoE便横空出世。 大模型发展即将进入下一阶段但目前仍面临众多难题。为满足与日俱增的实际需求,大模型参数会越来越大,数据集类型越来越多,从而导致训练难度大增,同时也提高了推理成本。为了实现大模型的高效训练和推理,混合专家模型MoE便横空出世。 MoE结构的 ...
检索增强生成(Retrieval-augmented Generation,RAG)实战1-基于LlamaIndex构建第一个RAG应用 本文将介绍如何使用LlamaIndex构建一个非常简单的RAG应用。通过该案例,可以初步了解LlamaIndex构建RAG应用的大体流程。 环境准备 安装Llam ...
搭建一个大模型API服务 本文将介绍如何使用SWIFT框架搭建一个大模型API服务,以方便后续做RAG、Agent的开发工作。 环境准备 基础环境 操作系统:Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3: ...
大家好,我是 Java陈序员。 可以说,现在网购已经完全融入到了我们的日常生活中。小到一根笔,大到一件衣服都能在网上买! 但是,我们在网上买衣服时,经常会因为衣服不合身而需要退换,这需要花费一定的成本。 今天,给大家介绍一款高度可控的虚拟服装试穿工具,可以让你在线体验衣服试穿的效果。 关注微信公众号 ...
目前流行的开源大语言模型大抵都会有内容审查机制,这并非是新鲜事,因为之前chat-gpt就曾经被“玩”坏过,如果没有内容审查,恶意用户可能通过精心设计的输入(prompt)来操纵LLM执行不当行为。内容审查可以帮助识别和过滤这些潜在的攻击,确保LLM按照既定的安全策略和道德标准运行。 但我们今天讨论 ...
原作:马可·兰波尼 引言:在生成式人工智能领域,关注的焦点一直放在语言和图像上,但近期在音频领域也取得了许多进展。本文将为您介绍有关生成式音频模型的一切知识。 在过去的十年中,我们见证了人工智能驱动的音频生成技术取得了显著进步,包括音乐和语音合成。然而,直到最近,这些改进仍远远落后于图像和文本生成方 ...
微调 在深度学习和自然语言处理(NLP)领域,大规模语言模型如BERT、GPT-3等通过在大量数据上进行预训练获得了强大的语言理解和生成能力。这些预训练模型通常需要进行微调(Fine-tuning),以便在特定的下游任务上表现更好。微调可以采取不同的形式,包括full、LoRA和Q-LoRA。 Fu ...
**SDXL-Lightning** 是一个由 ByteDance 开发的**文本到图像**的生成模型,其主要贡献在于其**高速**的生成能力和**轻量化**的设计。
这样一种又小又快的模型,又会带来哪些巨大的变革呢
【封面由模型生成 ...