随笔分类 - 人工智能
AI,集群学习,神经网络……
摘要:
Transformers 框架支持多种 NLP 任务,如何高效使用 Pipeline?本文从零开始,逐步介绍 Transformers 框架中的 Pipeline 和任务配置。通过实际案例和源代码分析,帮助你快速掌握 Transformers 框架的核心功能……
阅读全文

摘要:
阿里巴巴等联合推出的 Meissonic 文生图模型,仅 1B 参数,能在普通电脑及未来无线端运行推理。本文将详细展示其在笔记本上的本地部署教程,带你领略 Meissonic 的独特魅力与强大功能……
阅读全文

摘要:
本文深入解析 Qwen2.5 大语言模型的分词流程和 BPE 分词算法。通过中英文混合文本示例,详细介绍了从文本规范化、初步分词、字节编码与映射到 BPE 分词的每一步骤。结合代码实现,揭示了 Qwen2.5 如何高效处理多语言文本,帮助读者全面理解 BPE 分词算法的原理和应用……
阅读全文

摘要:
还在为 PPT 配图发愁?Napkin.ai 来救场!它是强大的文本自动配图工具,能自动摘要文本、生成并自定义配图,下载方式多样。文中详细介绍其使用方法,包括注册、创建 Napkin、选择和设置配图等。此外,还有免费送书活动,关注、留言点赞就有机会获得《OpenAI API 接口应用实战》。快来参与……
阅读全文

摘要:
本文是 Transformers 推理大语言模型技术细节的第 3 篇,基于 Qwen2.5 大模型,通过源代码走读,详细介绍了 AutoTokenizer 的分词器初始化、存储流程和技术细节。文章涵盖分词器的配置解析、字节对编码(BPE)分词算法,以及分词、编码、解码和添加 Token 等常用操作……
阅读全文

摘要:
本文紧接前篇文章,详细讲解 transformers 初始化和加载大语言模型过程,包括 AutoConfig/Qwen2Config/AutoModelForCausalLM/Qwen2ForCausalLM/Qwen2PreTrainedModel 和 PreTrainedModel 等核心类详解……
阅读全文

摘要:
本文详细讲解 transformers 推理大语言模型的初始化过程,包括 Python 包搜索、LazyModule 延迟模块、模块搜索和 Python 包 API 设计美学……
阅读全文

摘要:
本文主要介绍 Qwen2.5-Math 特点和能力,并在本地进行部署和数学推理,最后验证小学和初中的奥数题目,Qwen2.5-Math 不仅解题步骤清晰明了,正确率也达到惊人的 100%……
阅读全文

摘要:
Qwen2.5 开源的系列模型中,Qwen2.5-Coder 模型的推理能力技压群雄,本文集合 CrewAI 框架,让多智能体自己编写符合我们需求的程序……
阅读全文

摘要:
利用 CrewAI 多智能体框架,我们可以更细粒度的控制智能体和任务,通过不同的流程组织协同多智能体共同完成工作……
阅读全文

摘要:
本文介绍了大模型 Agent 定义、组成部分,并以 MetaGPT 多智能体为例,一句话完成贪吃蛇小游戏需求,以介绍整个智能体的工作流程……
阅读全文

摘要:
本文介绍 ChatTTS 最新版本的 2 种本地部署方式,并通过短音频合成长音频的技术手段,解决 ChatTTS 合成音频最长 30 秒时长的限制,同时,我们让绘本故事文本转长音频……
阅读全文

摘要:
GLM-4-Flash 大模型API免费了,我们本文基于免费API构建一个“儿童绘本”应用,包括使用文生图产出绘本故事插图……
阅读全文

摘要:
上海人工智能实验室发布了书生·浦语(InternLM)新开源版本,增强了在复杂场景下的推理能力,本文介绍在本地进行部署和推理……
阅读全文

摘要:
MiniCPM-V 最新发布了 2.6 版本,仅 8B 的参数量,但在图片、视频方面理解能力表现卓越,本教程在本地进行部署和推理实战……
阅读全文

摘要:
vLLM默认并不支持纯CPU模式部署和推理模式,老牛同学应网友要求,根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型,并以Qwen2为了进行验证和演示……
阅读全文

摘要:
PyTorch 是一个开源的机器学习框架,可以方便地进行神经网络模型训练和推理。本文基于 PyTorch 演示了一个非常简单但是功能齐全的神经网络训练过程,无论模型权重有多大,使用 TyTorch 训练的过程是类似的,期望本文能启到抛砖引玉的作用……
阅读全文

摘要:
阿里云百炼平台发布推文,提供30天免费算力额度,助力玩转 Llama3.1 训练推理。老牛同学首当其冲,去体验一把,本文详细记录了整个过程,同时给出了老牛同学的一些想法,欢迎交流学习……
阅读全文

摘要:
本教程详细介绍了 LoRA 参数高效微调技术,包括数据集准备和处理、模型加载、参数设置等,然后以 Qwen2-0.5B 预训练模型实践,进行了文本分类能力微调,微调过程通过 SwanLab 可视化界面查看,最终微调模型进行测试数据评估……
阅读全文

摘要:
数字人最近比较火,LivePortrait 是快手、中科大和复旦大学联合研发的开源的图生视频模型,比较适合个人、小团体和企业等用于生成自己的数字化人物视频。老牛同学尝试通过本教程,详细介绍如何在本地部署和生成专业视频……
阅读全文
