随笔分类 - 深度学习理论

[深度学习理论]通俗理解BatchNormalization

摘要：如图所示，对于一层神经网络来说，当神经元

X_{2}

$X_2$ 的range远远大于

X_{1}

$X_1$ 时，加权后得到的输出

a

$a$ 会极大的收到神经元

W_{2} * X_{2}

$W_2*X_2$ 的影响，即

W_{2}

$W_2$ 的大小会极大的影响loss的大小，如下图左图所示。由此，为了使得loss变小，收敛，我们需要在不同方向（权重）上应用不同学习率大小，更新参阅读全文

posted @ 2022-02-09 15:06 柒七同学阅读(114) 评论(0) 推荐(0) 编辑

公告

昵称：柒七同学
园龄： 3年1个月
粉丝： 5
关注： 0

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

最新评论

1. Re:[论文][表情识别]LANDMARK GUIDANCE INDEPENDENT SPATIO-CHANNEL ATTENTION AND COMPLEMENTARY CONTEXT INFORMATION BASED FACIAL EXPRESSION RECOGNITION
你好，想问一下这两个分支得到两个预测值，最终的这个预测结果怎么输出呢
--houwx
2. Re:[论文][半监督语义分割]Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
@LumW 抱歉没跑呢😰...
--柒七同学
3. Re:[论文][半监督语义分割]Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
小姐姐这篇论文代码有跑通吗
--LumW