通用近似定理
在神经网络学习中,个人认为有两块十分重要的理论知识对理解神经网络的工作由重要的意义,一个是许志钦老师讲解的F-principle,阐述了为什么神经网络不会过拟合,另外一个就是通用近似定理,解释了为什么神经网络不需要知道问题的目标函数就可以拟合
B站视频讲解
www.bilibili.com/video/BV1Hh411Q7p4
1.定理介绍

根据通用近似定理,对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络,只要其隐藏层神经元的数量足够,它可以以任意的精度来近似任何从一个定义在实数空间中的有界闭集函数。
所以"挤压"性质的函数是指像sigmoid函数的有界函数,ReLU也使用
2.原文证明
3.简单说明
1.从图上可知一个简单的线性函数经过logistic激活函数可以变成如下样子
2.当我们把参数取的极端一点,就可以变成一个近似垂直效果的阶跃函数
3.参数b决定了阶跃的位置,w若是正数,函数值从0到1递增,若是负数,则函数值从1到0递减
4.令
5.若一个w为正,一个为负,变组成了一个脉冲函数
6.依次类推,只要有足够多的神经元,就可以无限逼近,拟合各种类型的函数曲线
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~