KNN(K近邻)算法之——KD-Tree构建及查找原理
0 前言 本文主要讲解KNN算法中用于快速检索最近元素的KD树的构建及查找原理。 为了达到最佳阅读效果，请读者按照本文顺序阅读，文章使用了大量图片帮助读者理解。 1 背景 1.1 为什么要使用KD-Tree? k近邻法(KNN)最简单的实现方法是线性扫描。这时要计算输入实例与每一个训练实例的距离。当 ...
变分信息瓶颈 (Variational Information Bottleneck) 公式推导
互信息 互信息用于表示两个随机变量相互依赖的程度。随机变量 \(X\) 和 \(Y\) 的互信息定义为 \[\begin{aligned} I(X, Y) & = \mathrm{KL}[p(\boldsymbol{x}, \boldsymbol{y}) \parallel p(\boldsymbo ...
优化器Adam在非凸情况下证明为什么要用期望平方梯度范数$E[||\nabla f(x_k)||^2]$这个指标？
如下内容由chatgpt生成 在非凸优化问题中，使用期望平方梯度范数 ( E[|\nabla f(x_k)|^2] ) 作为收敛性分析的指标有几个重要原因。以下是详细的解释： 1. 非凸优化问题的复杂性 在非凸优化中，目标函数 ( f(x) ) 可能存在多个局部最优解，甚至是鞍点、平坦区域等复杂的几 ...
人工神经网络：竞争型学习
竞争学习机制是无监督学习中的一种方法，它通过大量神经元的竞争最终得出给定输入的推理输出，并以类似在线学习的方式动态调整参数，这类网络通常是其他神经网络中的子网络。 ...
机器学习的数学基础--微积分
微积分运算在机器学习领域扮演着至关重要的角色，它不仅是许多基础算法和模型的核心，还深刻影响着模型的优化、性能评估以及新算法的开发。 掌握微积分，不仅让我们多会一种计算方式，也有助于理解各种机器学习算法和模型是如何寻找最优参数的。 1. 为什么需要微积分？ 也许有些人会觉得微积分很难，这大概是因为我们 ...
【3DGS】从新视角合成到3D_Gaussian_Splatting
@目录引言：什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和参数优化高斯点的数量控制(Adaptive Density Control)新的问题3DGS的渲染：快速可微光栅化3DGS的限制 引言： ...
SenseCraft 部署模型到Grove Vision AI V2图像处理模块
今天教大家快速上手Grove Vision AI V2 图像处理模块，我们将一起探讨如何利用 SenseCraft 部署 AI 模型，和如何通过XIAO ESP32C3调用这些模型，轻松实现智能视觉功能！ ...
Avnet ZUBoard 1CG开发板上手—深度学习新选择
本文主要介绍了Avnet ZUBoard 1CG开发板的特性、架构、硬件单元等概念，并对如何使用以太网接口和串口连接开发板进行基本介绍，同时辅以两个应用例程演示其功能。 ...
机器学习的数学基础--向量，矩阵
机器学习与传统编程的一个重要区别在于机器学习比传统编程涉及了更多的数学知识。不过，随着机器学习的飞速发展，各种框架应运而生，在数据分析等应用中使用机器学习时，使用现成的库和框架成为常态，似乎越来越不需要数学知识了。 其实，现成的库和框架只是帮助我们简化机器学习的开发任务，如果想要对模型训练结果进行调 ...
感知机代码
# -*- coding: utf-8 -*- """ Created on Wed Aug 7 20:50:03 2024 @author: 田雨 """ # -*- coding: UTF-8 -*- # 导入iris数据集 from sklearn.datasets import load_i ...
最小二乘法原理推导+代码实现[Python直线拟合]
0.前言 本文主要介绍了最小二乘法公式推导，并且使用Python语言实现线性拟合。 读者需要具备高等数学、线性代数、Python编程知识。 请读者按照文章顺序阅读。 绘图软件为：geogebra5。 1.原理推导 1.1应用 最小二乘法在购房中的应用通常涉及房价预测和房屋定价方面。这种统计方法通过拟 ...
机器学习中的两个重要函数--sigmoid和softmax
机器学习中，常常见到两个函数名称：sigmoid和softmax。前者在神经网络中反复出现，也被称为神经元的激活函数；后者则出现在很多分类算法中，尤其是多分类的场景，用来判断哪种分类结果的概率更大。 本文主要介绍这两个函数的定义，形态，在算法中的作用，以及两个函数之间的联系。 1. sigmoid函 ...
python 音频处理（2)——提取PPG特征之whisper库的使用（2.1）
提取PPG特征之——whisper库的使用（2.1） 1 安装对应的包 方法一（自用）： 直接pip即可： pip install openai-whisper 成功后如下图所示 方法二： 当时用了他这个方法环境直接崩了，已老实 conda install -c conda-forge ffmpeg ...
PyTorch 训练自定义功能齐全的神经网络模型的详细教程
PyTorch 是一个开源的机器学习框架，可以方便地进行神经网络模型训练和推理。本文基于 PyTorch 演示了一个非常简单但是功能齐全的神经网络训练过程，无论模型权重有多大，使用 TyTorch 训练的过程是类似的，期望本文能启到抛砖引玉的作用…… ...
AI/机器学习（计算机视觉/NLP）方向面试复习1
目录1. 判断满二叉树2. 给定一个数，求该数的平方根，不用内置函数3. GAN model 内容4. Diffusion model 内容5. 二叉树的创建，插入和删除6. Linux相关命令：7. 快速排序8. xgboost和deepfm的性能。9. 判断链表里是否有环10. HDFS相关基础 ...
从DDPM到DDIM(四) 预测噪声与后处理
从DDPM到DDIM(四) 预测噪声与后处理 前情回顾 下图展示了DDPM的双向马尔可夫模型。 训练目标。最大化证据下界等价于最小化以下损失函数： \[\boldsymbol{\theta}^*=\underset{\boldsymbol{\theta}}{\operatorname{argmin} ...
从DDPM到DDIM(三) DDPM的训练与推理
从DDPM到DDIM(三) DDPM的训练与推理 前情回顾 首先还是回顾一下之前讨论的成果。 扩散模型的结构和各个概率模型的意义。下图展示了DDPM的双向马尔可夫模型。 其中\(\mathbf{x}_T\)代表纯高斯噪声，\(\mathbf{x}_t, 0 < t < T\) 代表中间的隐变量, \ ...
从DDPM到DDIM (一) 极大似然估计与证据下界
从DDPM到DDIM (一) 极大似然估计与证据下界 现在网络上关于DDPM和DDIM的讲解有很多，但无论什么样的讲解，都不如自己推到一遍来的痛快。笔者希望就这篇文章，从头到尾对扩散模型做一次完整的推导。本文的很多部分都参考了 Calvin Luo[1] 和 Stanley Chan[2] 写的经典 ...
基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）
本教程详细介绍了 LoRA 参数高效微调技术，包括数据集准备和处理、模型加载、参数设置等，然后以 Qwen2-0.5B 预训练模型实践，进行了文本分类能力微调，微调过程通过 SwanLab 可视化界面查看，最终微调模型进行测试数据评估…… ...
Real-Time Federated Evolutionary Neural Architecture Search-_TEC'22(B)-RT-FedEvoNAS_
背景： 1.介绍FL 2.介绍NAS(讨论范围限制在CNN) 宏搜索空间覆盖整个CNN模型，例如，隐藏层的数量n、操作类型（例如，卷积）和快捷连接的链接方法 微观搜索空间仅覆盖整个模型结构中重复的基序或细胞。并且这些单元在复杂的多分支操作中构建 介绍RT(强化学习)在NAS中的运用，因为RT要模拟采 ...