1 深度学习为甚么如此火热发展如此迅速
【深度学习的助力】
大数据、更强的计算能力:
在深度学习之前,占据主导地位的是SVM一类的传统机器学习算法,我们在同一图表中展示一下传统机器学习、深度学习算法与数据数量之间的关系。
当数据量较少时,具有丰富经验的工程师手工设计特征进行机器学习,可能达到比深度学习更好的学习效果。
当数据量增大时,手工设计的特征模型已经不能充分反映物理世界复杂的现象,当数据量达到一定数量级,手工设计的模型达到其拟合能力的瓶颈,再增加数据量已经不能增加模型的拟合能力。而深度神经网络,由于其复杂的结构,拟合能力远超传统的机器学习模型。复杂的模型——众多的参数也需要大量的数据集喂出合适的参数集合,传统机器学习数量级的数据量已经无法满足深度学习的要求了。同时复杂的模型也需要进行大量的运算。
深度学习寒冬到来的原因也正是因为:1、模型过于复杂,计算量大,无法完成训练任务;2、没有足够的数据无法训练处足够好的模型。
网络与数字化社会,为大量数据的搜集提供了基础。GPU与专用处理器的发展为深度学习模型训练提供了液氮加速器。一些深度学历领域的大牛在寒冬中坚持,期待着成功的一天。
当深度学习模型打破传统机器学习的神话,越来越多的人开始关注深度学习。
更多优秀的算法(减少参数,提高精度)的不断涌现、开放的社区、优秀的商业应用,都将深度学习向前不断推进。
我们现在,正身处浪潮之巅!