摘要：
leetcode 第五天 2018年1月6日 22.(566) Reshape the Matrix JAVA class Solution { public int[][] matrixReshape(int[][] nums, int r, int c) { int[][] newNums = 阅读全文
摘要：
BN作用： 1. 加速收敛 2. 控制过拟合，可以少用或不用Dropout和正则 3. 降低网络对初始化权重不敏感 4. 允许使用较大的学习率 一、如何加速收敛？ 1. 通过归一化输入值/隐藏单元值，以获得类似的范围值，可加速学习。 2. 限制了在前层的参数更新会影响数值分布的程度，使层的输出更加稳 阅读全文
摘要：
一、Momentum 1. 计算dw、db. 2. 定义v_db、v_dw $$ v_{dw}=\beta v_{dw}+(1 \beta)dw $$ $$ v_{db}=\beta v_{db}+(1 \beta)db $$ 3. 更新dw、db $$ dw=w \alpha v_{dw} $$ 阅读全文