深度学习——基础概念

        最近，由于毕业论文需要，我开始阅读了伊恩·古德费洛等人写的《深度学习》一书。此书十分经典，可谓是机器学习的圣经。第一章节是《引言》，大致介绍了升读学习的相关概念。这里，我就将本书的第一章《引言》做个小结。

        首先，最重要的问题是：什么是深度学习？书本的第五页倒数第一自然段指出：“深度学习（deep learning）是一种特定类型的机器学习，巨有强大的能力和灵活性，它将大千世界被视为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）。”深度学习的发展史经历了控制论（cybernetics）、联结主义（connectionism）、人工神经网络（artificial neural network，ANN）最后以深度学习之名复兴。

        简而言之，深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题，即用相关算法来发觉表示本身，而不仅仅把表示映射到输出。深度学习模型的典型例子是前馈深度网络或者说是多层感知机（multilayer perceptron，MLP）。多层感知机仅仅是一个将一组输入值映射到输出值的数学函数。该函数又许多较简单的函数复合而成，不同数学函数的每一次应用都为输入提供了新的表示。一般来讲分为如下三个部分：可见层（输入层）、隐藏层、输出（输出层），整个图的最长路径视为模型的深度，这个概念与树的深度类似。

        在第二自然段中，我们介绍了深度学习的概念，并提到了机器学习这一概念。那什么是机器学习呢？书本的第二页第二自然段指出：“AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力称为机器学习（machine learning）。”

        在第三自然段中，我们介绍了深度学习的细节，并提到了表示学习这一概念。表示学习是指用机器学习来发觉表示本身，而不仅仅把表示映射到输出的方法。表示学习算法最典型的例子是自编码器（autoencoder）。自编码器有一个编码器函数和一个解码器函数组合而成。编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换回原来的形式。我们期望当输入数据经过编码器和解码器之后尽可能多地保留信息，同时希望新的表示有各种好的特性，这也是自编码器的训练目标。

       第一部分的学习总结就是这么多，如有错误敬请指出并加以斧正。