机器学习、神经网络与深度学习

典型的机器学习一般思路：预处理、特征提取、特征选择、推理预测或者识别。深度学习能够尽可能地使用算法解决预处理、特征提取、特征选择。

传统机器学习里，拿什么作为特征对学习影响比较大。特征多增加计算量，如果选择对学习目标有干扰的特征会干扰学习效果。需要人的经验来选择特征。深度学习可以用算法去解决。

深度学习是一种基于无监督特征学习和特征层次结构的学习模型，其实是对神经网络模型的拓展。

传统机器学习使用HOG提取低层面特征，再用DPM组件模型提取中层面特征，再用SVM进行分类。而深度学习直接进行端到端的处理，包含自动提取特征和分类，高维的权重参数。

深度学习与神经网络的区别

	神经网络	深度学习
网络架构	3层以内	可达上千层
层间连接	通常是全连接	形式多样：共享权值、跨层的反馈
目标函数	差的平方和 MSE	交叉熵 CE
激活函数	Sigmoid、tanh等	ReLU等
梯度下降	基本的梯度下降GD等	Adam 自适应矩估计等
避免过适应	凭经验	早期停止、Dropout等