mudou

摘要： 目录vLLMPagedAttention：解决内存瓶颈vLLM 的安装与使用 vLLM 加州大学伯克利分校的研究者开源了一个项目 vLLM，该项目主要用于快速 LLM 推理和服务。 vLLM 的核心是 PagedAttention，这是一种新颖的注意力算法，它将在操作系统的虚拟内存中分页的经典思想引 阅读全文

摘要： 目录一、基础补充1. DIT：Diffusion Transformer二、混元DiT技术报告摘要引言方法1. 改进Diffusion Transformers1.1 变分自编码器VAE1.2 Hunyuan-DiT 中的 Diffusion Transformer1.3 文本编码器1.4 位置编码 阅读全文

摘要： 目录其他注意力PagedAttentionmemory sharingPagedAttention原理S2-AttnMulti-Head AttentionCrossAttentionCross-Attention VS Self-AttentionCross-Attention算法过拟合的表现有哪 阅读全文

摘要： 目录图200-岛屿数量-中等130-被围绕的区域-中等133-克隆图-中等399-除法求值-中等-反复看207-课程表-中等210-课程表 II-中等909-蛇梯棋-中等-变态433-最小基因变化-中等-BT127-单词接龙-中等208-实现 Trie(前缀树)-中等212-单词搜索-困难211-添 阅读全文

摘要： 目录LLM大模型训练加速利器FlashAttention详解一、FlashAttention1.1 硬件基础1.2 FlashAttention 核心思想1.3 计算前提1.4 FlashAttention 算法二、FlashAttention-22.1 硬件特性2.2 标准的注意力实现2.3 Fl 阅读全文

摘要： # 关于DeepSpeed的尝试 知乎博客地址： https://zhuanlan.zhihu.com/p/673359684 ## 参考 Repo：https://github.com/microsoft/DeepSpeedExamples https://github.com/microsoft 阅读全文

摘要： 目录动态规划斐波那契数列-EASY爬楼梯-EASY使用最小花费爬楼梯-EASY不同路径-Middle不同路径II-Middle不同路径 III-HARD整数拆分-MID*不同的二叉搜索树-MID背包问题-理论基础分割等和子集-EASY最后一块石头的重量 II-MID目标和-MID *一和零-MID* 阅读全文

摘要： 目录LAVIS库一、lavis库介绍二、体验示例Image CaptioningVisual question answering (VQA)Unified Feature Extraction Interface加载数据集在任务数据集上评估预训练模型微调 BLIP在COCO-Captioning数 阅读全文

摘要： 原文：https://blog.csdn.net/v_JULY_v/article/details/128965854 目录强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO第一部分 RL基础：什么是RL与MRP、MDP1.1 入门强化学习所需掌握的基本概念1.1.1 什么 阅读全文

摘要： Llama3 学习链接 https://blog.csdn.net/v_JULY_v/article/details/137955982 就不易理解的内容进一步剖析 对Llama系模型进行汇总 目录一、LLama11. LLama 1 简介2. 模型架构2.1 RMSNorm2.2 SwiGLU替代 阅读全文