rectified units

from: http://en.wikipedia.org/wiki/Rectifier_(neural_networks)

 

In the context of artificial neural networks, the rectifier is an activation function defined as

f(x) = \max(0, x)

Noisy ReLUs[edit]

Rectified linear units can be extended to include Gaussian noise, making them noisy ReLUs, giving[3]

f(x) = \max(0, x + \mathcal{N}(0, \sigma(x)))

Noisy ReLUs have been used with some success in restricted Boltzmann machines for computer vision tasks.[3]

posted @   deeplearner_allen  阅读(363)  评论(0)  编辑  收藏  举报
编辑推荐：
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· winform 绘制太阳，地球，月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示
AI IDE Trae