深度学习复习总览（四）

深度模型优化与正则化：

  1. 网络优化
    目的：经验风险最小化。对于低维来说，目的是逃离局部最优点；对于高维来说，则是逃离鞍点。

  2. 梯度下降
    批量梯度下降、小批量梯度下降、随机批量梯度下降。
    在这里插入图片描述

  3. 学习率
    在这里插入图片描述
    流程：学习率预热、学习率衰减、学习率周期调整、自适应学习率。
    1）学习率预热：

posted @   小小新一枚  阅读(6)  评论(0)  编辑  收藏  举报  
编辑推荐：
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行：
· winform 绘制太阳，地球，月球 运作规律
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· AI 智能体引爆开源社区「GitHub 热点速览」
· 写一个简单的SQL生成工具
点击右上角即可分享
微信分享提示