随笔分类 - 机器学习
本章节主要针对机器学习领域中的算法介绍及其复现。
摘要：楼主的服务器是NVIDIA RTX 4090，可支持12.2CUDA驱动，但是TORCH-NGP中CUDA函数与TORCH=1.11.0版本适配，因此需要安装符合TORCH-NGP的CUDA环境。建议不要用github官网上的指令【https://github.com/ashawkey/torch-
阅读全文
摘要：B样条插值通常涉及较多的计算，尤其是在处理大量数据或需要实时响应的应用中。以下是一些常见的B样条插值加速方法： 预计算基函数值 B样条的插值计算依赖于基函数值。对于固定阶数和节点的情况，可以预先计算出基函数值并存储在查找表中，以便在插值时快速查表，避免重复计算。这样在实际计算中，只需要进行查找和简单
阅读全文
摘要：MLP 多层感知器（MLP）在深度学习和科学任务中的一些主要问题包括： 固定的激活函数：MLP的激活函数通常是固定的，应用在网络节点（神经元）上，这限制了模型的表达能力。相较之下，KAN允许在边缘（权重）上使用可学习的激活函数，使模型更具适应性和灵活性。 维度诅咒（Curse of Dimensi
阅读全文
摘要：稀疏感知的数据调度器和稀疏预定义的数据调度器虽然都针对稀疏数据的高效调度，但在处理方式和灵活性上有所不同。 稀疏感知数据调度器（Sparse-Aware Scheduler） 稀疏感知数据调度器的核心在于其动态适应性和智能调度能力。它不仅知道数据是稀疏的，还能动态识别稀疏性模式并实时适应调度，例如在
阅读全文
摘要：动机与创新点 这篇论文的主要动机在于应对深度神经网络（DNN）训练过程中计算量过大的问题。DNN训练中包含大量的多维点积运算，尤其是当输入数据存在相似性时，这种计算可以优化。MERCURY提出了一种利用输入相似性的硬件加速方案，通过使用随机投影和量化（RPQ）生成输入向量的签名，存储在MCACHE中
阅读全文
摘要：Background 如何在数据海量的内容库中快速检索出Top-k的信息候选？ 缩小查找的范围，快速找到最有可能成为近邻的一个粗集合 对Embedding向量做压缩，快速计算两个Embedding的距离。 本实践内容的代码管理在Codes24/FlashCIM/文件夹下的pq_lib中 Vector
阅读全文
摘要：本文记录Vanilla-Transformer的Pytorch实现。
阅读全文
摘要：本文记录2023 CANN训练营第一季 昇腾AI入门Pytorch 的学习笔记。
阅读全文
摘要：基于Anaconda的PyG 图神经网络依赖环境（torch_geometric）安装
阅读全文
摘要：本文记录了如何在Pytorch框架中设置可学习参数。
阅读全文
