摘要:
初始化概念 初始化参数指的是在网络模型训练之前,对各个节点的权重和偏置进行初始化赋值的过程。 在深度学习中,神经网络的权重初始化方法(weight initialization)对模型的收敛速度和性能有着至关重要的影响。模型的训练,简而言之,就是对权重参数$W$的不停迭代更新,以期达到更好的性能。而 阅读全文
摘要:
定义 均匀分布也叫矩形分布,它是对称概率分布,在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数$a$和$b$定义,它们是数轴上的最小值和最大值,通常缩写为$U(a, b)$。 概率密度函数 $$f(x) = \begin{cases} \frac{1}{b - a}& \text{$a < 阅读全文