合集-大模型系列
摘要：RAG在大模型时代，被寄予了厚望，但在近一年多各大小公司的实施过程中，其效果远没有抖音中宣传的那么振奋人心，其原因是多方面的。这篇文章就RAG中的一个弱项--局部性来展开讨论。 一、RAG原理 图1描述了RAG的原理，用户输入了一个指令Instruct，RAG将其与Document store(向量
阅读全文
摘要：GraphRAG工作的第一步，是将输入的文档集合，按一定的策略拆分成一个一个chunks，然后解析每个chunks，将chunk中所关注的实体(entity)和关系(relation)解析出来，以此构建知识图谱。 那问题来了，GraphRAG是如何抽取文本中的实体及其间的关系，是像以前NLP任务那样
阅读全文
摘要：为什么大模型相比中小模型，有更突出的性能和泛化能力，也许大多数人并没有想过这个问题，业内一般从函数曲线拟合的角度，来理解模型为什么能解决现实中的问题。 1、模型为什么越大，性能和泛化越好？ 在AI领域，对需要解决的业务问题，将其视为满足一定条件的数据分布，先通过特征工程的方式，从业务问题中拆解出有哪
阅读全文
摘要：图1描述了Stable Diffusion模型的发展历程，从最初的AE(Auto Encoder)，逐步发展到DDPM、VQVAE、LDM，并最终产生了Stable Diffusion。从技术路线上看，Stable Diffusion由2条技术路线汇聚而成，一条是路线1：AE -> VAE -> D
阅读全文
摘要：Stable Diffusion为实现文生图，引入了Conditioning模块，该模块用于接收图文等多种模态的数据，并将其编码为Embedding空间的向量，使得Stable Diffusion在训练和推理时，可以受到多模态数据设置的条件约束。Stable Diffusion中的Condition
阅读全文
摘要：Sora是OpenAI今年初推出的一款文生视频模型，相较于MidJourney这些传统AI绘图工具而言，Sora生成的视频时长更长，视频效果更逼真、更符合物理世界的客观规律。 Sora生成的视频可长达60s以上，较之前的文生视频模型只能生成2~3s视频而言，是个巨大的突破，从Sora官方公布的视频效
阅读全文
摘要：在2018年Google提出Transformer框架后，2019年，BERT作为最早期的大模型，便应运而生，因为BERT有强大的自然语言理解能力，因此在其被提出后便风靡NLP领域。 研读BERT代码，是因为BERT作为大模型起源鼻祖，比GPT起源还早，弄明白其算法思想和其主体代码具体实现逻辑，有利
阅读全文
摘要：ChatGLM3是清华、智谱2023年开源的一款大模型。ChatGLM3-6B模型代码，目前还在研读中，尚未全部读完。 图1为ChatGLM3-6B模型简图，其结构基于Transformer Encoder架构的Encoder，大体上与BERT架构类似。ChatGLM3实现模型架构时，已预置支持P-
阅读全文
摘要：图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。 图1 LoRA原理 图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路WFP16与右路A FP16@B FP16乘积之和，其中W、A、B的上标F
阅读全文
摘要：QLoRA是LoRA的量化版本，在LoRA的基础上，对权重W进行量化，如图2所示，以进一步减少对GPU显存的需求。 1、算法论文及代码 论文 《QLORA: Efficient Finetuning of Quantized LLMs》 https://arxiv.org/pdf/2305.1431
阅读全文
