deephub

摘要： 近端策略优化(Proximal Policy Optimization, PPO)作为强化学习领域的重要算法，在众多实际应用中展现出卓越的性能。本文将详细介绍PPO算法的核心原理，并提供完整的PyTorch实现方案。 PPO算法在强化学习任务中具有显著优势：即使未经过精细的超参数调优，也能在Atar 阅读全文

摘要： 文本编码技术是现代搜索系统、推荐算法、语义相似度分析和检索增强生成（RAG）系统的基础核心。在众多文本编码策略中，Cross-Encoder和Bi-Encoder两种架构因其独特的设计理念和应用特性而被广泛采用。本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性，并探讨 阅读全文

摘要： 在实际的机器学习应用中，数据集规模有限且类别分布不均衡是一个普遍存在的问题。以医学影像分析为例，正类样本通常仅占总样本的5%左右。基于此类数据训练的分类模型往往会倾向于预测多数类别，虽然能够达到95%的整体准确率，但在识别关键的少数类样本方面表现不佳。 这种现象会引发过拟合、预测偏差以及关键类别召回 阅读全文

摘要： 现代RAG（Retrieval-Augmented Generation）和智能体架构在处理问答任务时，依赖于能够随时间动态更新的知识库，这类知识库通常包含财务报告、技术文档等持续变化的信息。为确保推理和规划过程的逻辑性与准确性，需要建立相应的时序管理机制。 针对规模不断增长且存在幻觉风险的动态知识 阅读全文

摘要： 大型语言模型（Large Language Models, LLMs）如GPT-OSS、GPT-4、LLaMA和Mixtral的快速发展显著提升了人工智能的能力边界，但同时也带来了严峻的内存资源挑战。以1200亿参数的模型为例，在FP16精度下仅权重存储就需要约240GB的内存空间，这远超单个NVI 阅读全文

摘要： 本文介绍使用四块Framework主板构建AI推理集群的完整过程，并对其在大语言模型推理任务中的性能表现进行了系统性评估。该集群基于AMD Ryzen AI Max+ 395处理器，采用mini ITX规格设计，可部署在10英寸标准机架中。 Jeff Geerling大佬还开发了名为Beowulf 阅读全文

摘要： 本文深入分析ReasonRank，一个采用自动化数据合成框架和两阶段训练策略（监督微调+强化学习）的先进段落重排器，该系统在信息检索领域实现了突破性的推理能力，在BRIGHT等权威基准测试中超越了参数规模更大的现有模型。 信息检索技术在过去十年中经历了深刻变革。现代搜索引擎和人工智能助手已能够精准理 阅读全文

摘要： 多元自适应回归样条（Multivariate Adaptive Regression Splines, MARS）是Jerome Friedman于1991年提出的一种非参数回归技术。该方法专门用于建模预测变量集合与目标变量之间的复杂非线性关系，无需预先确定具体的函数形式。本文将深入探讨MARS算法 阅读全文

摘要： 在传统OCR技术日趋成熟的今天，一个仅有1.7B参数的视觉语言模型正在重新定义文档处理的技术边界。Dots.ocr的出现标志着OCR领域从传统多模块流水线向统一视觉语言建模的重要转变，其在多项基准测试中超越大参数模型的表现，预示着"小而精"可能比"大而全"更具实用价值。 这一技术突破的核心在于架构创 阅读全文

摘要： NumPy作为Python数值计算领域的基础框架，凭借其强大的N维数组结构和丰富的函数生态系统，成为科学家、工程师和数据分析师的核心工具。然而，随着计算需求的快速增长，特别是在机器学习和大规模科学模拟领域，NumPy基于CPU的执行模式以及缺乏内置自动微分功能的限制愈发明显。 JAX正是为了解决这些 阅读全文