muzinan110

2024年11月11日

LangChain Runnable 组件深度解析：灵活配置、错误处理与生命周期管理

摘要：在 LangChain 框架中，Runnable 组件是构建灵活、可配置的 AI 应用的核心。本文将深入探讨 Runnable 组件的高级特性，包括动态参数配置、组件替换、错误处理机制以及生命周期管理。通过掌握这些特性，开发者可以构建更加健壮和可维护的 AI 应用。 1. Runnable 组件动态阅读全文

posted @ 2024-11-11 14:26 muzinan110 阅读(150) 评论(0) 推荐(0) 编辑

LangChain记忆组件深度解析：运行流程与源码剖析

摘要：在构建大型语言模型（LLM）应用时，记忆功能扮演着至关重要的角色。它使得AI能够保持上下文连贯性，提供更加智能和个性化的响应。本文将深入探讨LangChain框架中的记忆组件，详细分析其运行流程和源码实现，为开发者提供全面的技术洞察。 1. LangChain-ChatMessageHistory组阅读全文

posted @ 2024-11-11 14:14 muzinan110 阅读(230) 评论(0) 推荐(0) 编辑

2024年3月20日

大模型推理框架 vLLM

摘要： vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量，就像在操作系统中管理CPU虚拟内存一样 NVIDIA FasterTransformer (FT) 是一个阅读全文

posted @ 2024-03-20 11:20 muzinan110 阅读(554) 评论(0) 推荐(0) 编辑

2024年3月2日

大模型推理记录

摘要：思路目前大模型推理加速技术栈大体可以分成三层（从低到高）：线性代数计算库，cuBLAS、Eigen、Intel MKL、ARM Compute Library等，其中定义了矩阵乘法、矩阵和向量乘法等数十个标准函数。线性代数层的加速主要依赖以下优化： GPU多核计算能力：通过调用CUDA、Open 阅读全文

posted @ 2024-03-02 10:26 muzinan110 阅读(74) 评论(0) 推荐(0) 编辑

大模型训练记录

摘要：思路对于模型的每10亿个参数，需要6GB的内存（使用16位半精度）来加载和训练模型。请记住，内存大小只是训练故事的一部分。完成预训练所需的时间也是另一个重要部分。举个例子，最小的 Llama2 模型（Llama2 7B）具有70亿个参数，它花费了184320 GPU 小时才完成训练。首先要弄清楚阅读全文

posted @ 2024-03-02 10:20 muzinan110 阅读(136) 评论(0) 推荐(0) 编辑

LangChain记录

摘要：前言 LLM 不管是 GPT 还是 BERT，有且只有一个核心功能，就是预测你给定的语句的下一个词最有可能是什么（靠Prompt激发），除此之外的工作，比如解析 PDF、比如对话式搜索、甚至拿过来一个大任务分解、创建子任务，最终完成，都需要有一整套的工具来把核心功能包装，便于开发人员搭积木，这个工具阅读全文

posted @ 2024-03-02 10:14 muzinan110 阅读(159) 评论(0) 推荐(0) 编辑

LLMOps 记录

摘要：在OpenAI的GPT，Meta的Llama和Google的BERT等大型语言模型（LLM）发布之后，它们可以生成类似人类的文本，理解上下文并执行广泛的自然语言处理（NLP）任务。LLM将彻底改变我们构建和维护人工智能系统和产品的方式。因此，一种被称为“LLMOps”的新方法已经发展并成为每个AI 阅读全文

posted @ 2024-03-02 10:09 muzinan110 阅读(81) 评论(0) 推荐(0) 编辑

2024年2月25日

Go-Kit 记录

摘要： 2、go-kit三层结构 go-kit和MVC一样也有三层结构endpoint，service, transport，通过这三层结构来实现，接收一个请求，然后返回一个结果。 1.Transport Transport处于该微服务的最上层，主要负责于HTTP, gRPC，thrift等相关的逻辑，负责阅读全文

posted @ 2024-02-25 10:30 muzinan110 阅读(38) 评论(0) 推荐(0) 编辑

Ray 记录

摘要：分布式计算框架Ray 当我们要构建一个涉及大规模数据处理或者复杂计算的应用，传统的方式是使用现成的大数据框架，例如 Apache Flink 和 Apache Spark。这些系统提供的API通常基于某种特定的计算范式（例如DataStream、DataSet），要求用户基于这些特定的计算范式实现应阅读全文

posted @ 2024-02-25 09:36 muzinan110 阅读(229) 评论(0) 推荐(0) 编辑

Koordinator架构

摘要：下图展示了 Koordinator 系统的整体架构和各组件的角色分工，其中绿色部分描述了 K8s 原生系统的各个组件，蓝色部分是 Koordinator 在此基础上的扩展实现。从整个系统架构来看，我们可以将 Koordinator 分为中心管控和单机资源管理两个维度。在中心侧，Koordiantor 阅读全文

posted @ 2024-02-25 09:35 muzinan110 阅读(255) 评论(0) 推荐(0) 编辑

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论