随笔分类 - 深度学习

pytorch框架学习笔记

摘要：![](https://img2024.cnblogs.com/blog/1923060/202411/1923060-20241119221134114-91864058.png) 阅读全文

posted @ 2024-11-19 22:11 Si_wuxie 阅读(2) 评论(0) 推荐(0) 编辑

深度学习基本概念学习笔记

摘要：![](https://img2024.cnblogs.com/blog/1923060/202411/1923060-20241119221024816-1634675758.png) 阅读全文

posted @ 2024-11-19 22:10 Si_wuxie 阅读(5) 评论(0) 推荐(0) 编辑

神经网络

摘要：![](https://img2024.cnblogs.com/blog/1923060/202411/1923060-20241119220751818-1850812362.png) 阅读全文

posted @ 2024-11-19 22:08 Si_wuxie 阅读(4) 评论(0) 推荐(0) 编辑

优化器Adam在非凸情况下证明为什么要用期望平方梯度范数

E [| | \nabla f (x_{k}) | |^{2}]

$E[||\nabla f(x_k)||^2]$ 这个指标？

摘要： $优化器Adam在非凸情况下证明为什么要用期望平方梯度范数$E[||\nabla f(x_k)||^2]$这个指标？$ 如下内容由chatgpt生成在非凸优化问题中，使用期望平方梯度范数 ( E[|\nabla f(x_k)|^2] ) 作为收敛性分析的指标有几个重要原因。以下是详细的解释： 1. 非凸优化问题的复杂性在非凸优化中，目标函数 ( f(x) ) 可能存在多个局部最优解，甚至是鞍点、平坦区域等复杂的几阅读全文

posted @ 2024-08-20 11:51 Si_wuxie 阅读(63) 评论(0) 推荐(0) 编辑

优化器Optimal

摘要：未完成！！！！！！神经网络的训练主要是通过优化损失函数来更新参数，而面对庞大数量的参数的更新，优化函数的设计就显得尤为重要，下面介绍一下几种常用的优化器及其演变过程：【先说明一下要用到符号的含义】：损失函数里一般有两种参数，一种是控制输入信号量的权重(Weight, 简称

w

$w$ ），另一种是阅读全文

posted @ 2022-09-12 19:24 Si_wuxie 阅读(203) 评论(0) 推荐(0) 编辑

深度学习相关论文摘要翻译

摘要：*****仅供个人学习记录***** Deep learning【Yann LeCun：2015】论文地址：Deep learning | Nature 摘要：深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。这些方法极大地提高了语音识别、视觉物体识别、物体检测和许多其他领域（阅读全文

posted @ 2022-08-30 18:06 Si_wuxie 阅读(385) 评论(0) 推荐(0) 编辑