奔跑的蜗牛·老牛同学

摘要： 本文深入解析 Qwen2.5 大语言模型的分词流程和 BPE 分词算法。通过中英文混合文本示例，详细介绍了从文本规范化、初步分词、字节编码与映射到 BPE 分词的每一步骤。结合代码实现，揭示了 Qwen2.5 如何高效处理多语言文本，帮助读者全面理解 BPE 分词算法的原理和应用…… 阅读全文

摘要： 还在为 PPT 配图发愁？Napkin.ai 来救场！它是强大的文本自动配图工具，能自动摘要文本、生成并自定义配图，下载方式多样。文中详细介绍其使用方法，包括注册、创建 Napkin、选择和设置配图等。此外，还有免费送书活动，关注、留言点赞就有机会获得《OpenAI API 接口应用实战》。快来参与…… 阅读全文

摘要： 本文是 Transformers 推理大语言模型技术细节的第 3 篇，基于 Qwen2.5 大模型，通过源代码走读，详细介绍了 AutoTokenizer 的分词器初始化、存储流程和技术细节。文章涵盖分词器的配置解析、字节对编码（BPE）分词算法，以及分词、编码、解码和添加 Token 等常用操作…… 阅读全文

摘要： 本文紧接前篇文章，详细讲解 transformers 初始化和加载大语言模型过程，包括 AutoConfig/Qwen2Config/AutoModelForCausalLM/Qwen2ForCausalLM/Qwen2PreTrainedModel 和 PreTrainedModel 等核心类详解…… 阅读全文

摘要： 本文详细讲解 transformers 推理大语言模型的初始化过程，包括 Python 包搜索、LazyModule 延迟模块、模块搜索和 Python 包 API 设计美学…… 阅读全文

摘要： 本文主要介绍 Qwen2.5-Math 特点和能力，并在本地进行部署和数学推理，最后验证小学和初中的奥数题目，Qwen2.5-Math 不仅解题步骤清晰明了，正确率也达到惊人的 100%…… 阅读全文

摘要： Qwen2.5 开源的系列模型中，Qwen2.5-Coder 模型的推理能力技压群雄，本文集合 CrewAI 框架，让多智能体自己编写符合我们需求的程序…… 阅读全文

摘要： 利用 CrewAI 多智能体框架，我们可以更细粒度的控制智能体和任务，通过不同的流程组织协同多智能体共同完成工作…… 阅读全文

摘要： 本文介绍了大模型 Agent 定义、组成部分，并以 MetaGPT 多智能体为例，一句话完成贪吃蛇小游戏需求，以介绍整个智能体的工作流程…… 阅读全文

摘要： 本文介绍 ChatTTS 最新版本的 2 种本地部署方式，并通过短音频合成长音频的技术手段，解决 ChatTTS 合成音频最长 30 秒时长的限制，同时，我们让绘本故事文本转长音频…… 阅读全文

摘要： GLM-4-Flash 大模型API免费了，我们本文基于免费API构建一个“儿童绘本”应用，包括使用文生图产出绘本故事插图…… 阅读全文

摘要： 上海人工智能实验室发布了书生·浦语（InternLM）新开源版本，增强了在复杂场景下的推理能力，本文介绍在本地进行部署和推理…… 阅读全文

摘要： MiniCPM-V 最新发布了 2.6 版本，仅 8B 的参数量，但在图片、视频方面理解能力表现卓越，本教程在本地进行部署和推理实战…… 阅读全文

摘要： vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示…… 阅读全文

摘要： PyTorch 是一个开源的机器学习框架，可以方便地进行神经网络模型训练和推理。本文基于 PyTorch 演示了一个非常简单但是功能齐全的神经网络训练过程，无论模型权重有多大，使用 TyTorch 训练的过程是类似的，期望本文能启到抛砖引玉的作用…… 阅读全文