BN和Relu
- Batch normalization + ReLU
原论文认为批归一化的原理是：通过归一化操作使网络的每层特征的分布尽可能的稳定，从而减少Internal Covariate Shift
relu是目前应用最为广泛的激活函数，
由于其梯度要么是1，要么是0，可以有效抑制梯度爆炸/消失
通过BN和ReLU，目前的网络已经可以达到非常深
网络越深，提取的特征往往越抽象，越具有语义信息。过渡抽象的特征可能并不适合相对简单的任务。
原论文认为批归一化的原理是：通过归一化操作使网络的每层特征的分布尽可能的稳定，从而减少Internal Covariate Shift
relu是目前应用最为广泛的激活函数，
由于其梯度要么是1，要么是0，可以有效抑制梯度爆炸/消失
通过BN和ReLU，目前的网络已经可以达到非常深
网络越深，提取的特征往往越抽象，越具有语义信息。过渡抽象的特征可能并不适合相对简单的任务。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· winform 绘制太阳，地球，月球 运作规律
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· AI与.NET技术实操系列（五）：向量存储与相似性搜索在 .NET 中的实现
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
2018-11-10 hdmap相关单词
2018-11-10 绝对误差和相对误差的定义
2018-11-10 高速公路之匝道