神经网络 基础
初始参数 & 超参数
神经网络初始值的设置,可以避免多层数的梯度消失
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211227204940264-1298113214.png)
早期的深度学习中,如果存在两个超参数,可以使用 网格法进行调参(网格调参),但是现在尽量不要使用网格法。
在深度学习领域,推荐随机选点,可以选择同等数量的点,用这些随机选取的点作为超参数进行训练。
对于不同优先级的超参数,随机选点可以选取更多优先级的超参数。在实践中,你确定的超参数可能是高维度的,因此,合适的方法是比较重要的。
- 调试处理
![](https://img2020.cnblogs.com/blog/2355125/202110/2355125-20211003192244116-970355843.png)
吴恩达
- Log法则
![吴恩达](https://img2020.cnblogs.com/blog/2355125/202110/2355125-20211003101839250-1743392932.png)
吴恩达
神经网络的常用激活函数
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211225194613797-225693439.png)
- Sigmoid激活函数
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211225193337532-1575562286.png)
反向传播:
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211226212355756-817359462.png)
- Relu激活函数
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211225193227829-1817859756.png)
一些技巧:
![](https://img2020.cnblogs.com/blog/2355125/202112/2355125-20211225195549892-1284034270.png)