摘要： 传统BP vs CNN 存在2个问题 传统BP网络存在的问题： 传统的BP来处理图像问题的话因为计算权值太多太大。 网络的建立要根据数据的大小来建立。 求解权值得过程类似于求解方程组的过程，有1亿个权值要多少个数据量要多少样本？ 最好是权值得5-30倍。 一般说来数据量越大越好。 CNN的崛起 感受 阅读全文

摘要： 正则化（Regularization） 概念 L0正则化的值是模型参数中非零参数的个数。 L1正则化表示各个参数绝对值之和。 L2正则化标识各个参数的平方的和的开方值。 L0正则化 稀疏的参数可以防止过拟合，因此用L0范数（非零参数的个数）来做正则化项是可以防止过拟合的。 从直观上看，利用非零参数的 阅读全文