deephub

摘要： 理论基础 算法本质与背景 层次化（Hierarchial）Softmax算法是在深度学习领域中解决大规模词嵌入训练效率问题的重要突破。该算法通过引入Huffman树结构，有效地将传统Softmax的计算复杂度从线性降至对数级别，从而在处理大规模词汇表时表现出显著的优势。 在传统的神经网络词嵌入模型中 阅读全文

摘要： 在现代技术领域算法决策优化已成为核心竞争力。Meta通过广告位置优化提升点击率，Netflix利用缩略图优化提升用户参与度，亚马逊依靠产品推荐系统提升销售额——这些优化的背后都采用了基于Beta分布的汤普森采样算法。 在各类决策系统中，探索与利用的平衡是一个根本性挑战。例如推荐系统是继续使用已验证有 阅读全文

摘要： 方向导数作为标量量，表征了函数在特定方向上的变化率。其数学表示为 ∇ᵤf(x) 或 Dᵤf(x)。 对于标量函数 f(x): Rⁿ → R，其梯度由函数的偏导数构成向量场。梯度向量指向函数值增长最快的方向，其模长等于该方向的方向导数。 方向导数的计算可通过两种方法实现：其一是引入函数 g(s) = 阅读全文

摘要： 大语言模型(LLMs)推理过程中的批处理优化面临显著挑战，这主要源于其推理过程的迭代特性。核心问题在于批处理中的各个请求完成时间存在差异，这导致资源释放和新请求整合的复杂性显著提高，特别是在处理不同完成阶段的请求时。当批处理中序列的生成长度差异较大时，GPU资源利用率往往不够理想。如下图所示，序列1 阅读全文

摘要： Graph Transformer是一种将Transformer架构应用于图结构数据的特殊神经网络模型。该模型通过融合图神经网络(GNNs)的基本原理与Transformer的自注意力机制，实现了对图中节点间关系信息的处理与长程依赖关系的有效捕获。 Graph Transformer的技术优势 在处 阅读全文

摘要： 近年来,大语言模型(LLM)在各个领域取得了显著成效。但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能,但在记忆回溯任务上表现较弱。针对这一问题,NVIDIA提出了Hymba架构,通过在同一层中结合注意力头和 阅读全文

摘要： 人工智能领域正在经历一场深刻的变革。随着深度学习模型的规模呈指数级增长，我们正面临着前所未有的计算挑战。当前最先进的语言模型动辄包含数千亿个参数，这种规模的模型训练已经远远超出了单机系统的处理能力。在这个背景下，分布式机器学习系统已经成为支撑现代人工智能发展的关键基础设施。 分布式机器学习的演进 在 阅读全文

摘要： 随着生成式AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制，由于其计算密集型的特性，成为优化的重点对象。 在 阅读全文

摘要： 数据是对现实世界的抽象表征。物理现象、人类行为模式以及自然规律都可以通过数据结构进行编码和表示。通过实现各类算法和模型，可以挖掘数据中的隐含模式，提取具有实际意义的非平凡信息。卷积神经网络（CNN）专门处理具有网格结构的数据（如图像），循环神经网络（RNN）则针对序列数据（如时间序列或文本）进行建模 阅读全文

摘要： 大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。从适用于个人开发的轻量级本地部署工具，到面向企业级高性能生产环境的推理 阅读全文