人工智能实践(3)-损失函数，学习率，滑动平均，正则化，神经网络搭建八股

损失函数：

引入激活函数可以有效避免仅使用∑(x,w)的纯线性组合，提高了模型的表达力，使模型具有更好的区分度

 

学习率：

 

滑动平均：

 

正则化：

 

神经网络搭建八股：

将正则化中opt4_7.py用上述模块化设计思想重新设计，程序使用正则化提高泛化性，用指数衰减学习率提高优化效率

分为三个模块：生成数据集 generateds.py 前向传播 forward.py 反向传播 backward.py