Deep Learning with Python 读书笔记（一）人工智能、机器学习和深度学习

1. 人工智能

人工智能始于上世纪50年代，那时的计算机科学也只是一个刚刚兴起的学科。几位科学家一直在思考这样一个问题 - 人类能否让计算机具有思考问题的能力？在大家探索这个问题的同时，一个人工智能的定义被业界接受：人工智能是让电脑去解决通常需要人类智能才能解决的问题。

根据这个定义，人工智能是一个广泛的领域，既包括机器学习和深度学习，也包括那些根本没有“学习”内容的其他方法，比如早期的国际象棋程序，它仅仅是把大量的象棋规则写进代码，所以根本没有学习的成分。在之后的很长一段时间里，不少专业人士都认为人类的智能完全可以通过编写足够多的“死规则”来实现。这种认识实际上是一种“假的”人工智能（symbolic AI），但是这种“假的”人工智能一直主宰这个领域，到了上世纪80年代随着专家系统的出现达到顶峰。

尽管这种“假的”人工智能的确可以解决一些逻辑问题，比如下象棋，但是在一些比较模糊的问题面前就会无能为力，比如图像分类、语音识别、机器翻译等等。人们在试图解决后面这些问题的探索中，一系列新的方法出现，这就是机器学习。

2. 机器学习

机器学习的出现起源于计算机科学界内对这些问题的探索：人类能否让计算机超出人类自身的智能去完成一些工作？计算机能不能让我们对它们的能力感到惊讶？计算机能不能自己从数据中发现规律？

我们知道通常的编程模式是我们编写规则来处理数据，得到需要的结果。但是机器学习不是这样，而是通过给计算机提供数据和这些数据所对应的处理结果，让计算机发现内在的规则。这些被发现的规则可以用在之前没有见过的新数据上，从而产生对应的结果。这就是机器学习的本质。所以，机器学习系统是训练出来的，而不是编写出来的。比如你有大量的水果图片，分别标上“苹果”、“香蕉”、“橙子”等标签，然后你给电脑一些新的水果图片，电脑通过学习之前的图片，可以正确的给新的图片分类。尽管机器学习在90年代才开始蓬勃发展，但它很快成为人工智能领域内最受欢迎和最成功的分支。当然，这一现象跟硬件的快速发展以及巨量数据的出现密不可分。

虽然机器学习跟数学统计联系紧密，但它在几个重要方面与统计不同。机器学习通常用于处理大量复杂的数据（例如数以百万计的图像数据集，每个图像由数万个像素组成）。但经典的统计分析（例如贝叶斯分析）是无法胜任的。同时机器学习，尤其是深度学习，主要是面向工程的学科，缺少很多数学理论基础，这点也和统计学非常不同。

 3. 从数据中发现数据表现形式

要理解深度学习以及深度学习和其他机器学习方法之间的区别 ，我们首先需要知道机器学习算法是怎样工作的。我们之前说了机器学习是通过学习给出的数据以及这些数据所对应的输出结果来发现一个数据处理任务的处理规则。因此，机器学习需要三件事：

• 输入数据。例如，如果你的任务是语音识别，那么这些输入数据就是人们说话的声音文件。如果任务是图像标记， 输入数据就是图片。
• 对应的输出数据。在语音识别任务中，输出数据就是声音文件所对应的文字。在图像标记任务中，输出数据则是对应图片中的实物，如“狗”、“猫”或“苹果”、“橙子”之类的标签。
• 衡量算法准确度的方法。这一步非常必要，我们用它来比较算法的输出数据和实际应该数据之间的差距，并且把这个差距作为一个反馈信号，用来调整算法内部使用的参数，而这个参数的调整过程就是我们所说的“学习”过程。

 机器学习模型将输入数据转换为有意义的正确输出，这是一个通过接触输入数据和它们对应的输出数据来进行“学习”的过程。因此，机器学习和深度学习的核心问题是如何有效地转换数据：换句话说，这个过程也是从现有数据中发现输入数据的“最佳”数据表示形式的过程，并且这个表现形式适合让算法把数据转换为我们希望看到的输出数据。

4. 深度学习中的“深度”是什么意思？

深度学习是机器学习的一个分支领域。同机器学习一样，深度学习也是要学习数据的表现形式，但是它的侧重点是通过一系列的中间层来把输入数据逐步转换成我们期待看到的输出数据。因此，这里的“深度”不是指对任何领域或事物的深度理解，而是指多个中间数据转换层的意思，或者中间转换层的个数。

深度学习模型通常都是通过神经网络来实现的，而这些神经网络往往包含多个神经网络层。对我们来说，深度学习是一个从数据中学习其表示形式的数学框架。

5. 深度学习的核心

我们上面提到深度学习模型往往由多个“层”构成，而每个层都会把输入数据转换为输出数据。这个转换过程主要取决于每个层中保存的权重数据（weights），这些权重数据也被称作层的参数（parameters）。从这个意义上讲，一个学习过程其实就是一个神经网络找出它所有层的最佳权重数据的过程，这个过程如下图所示。

 

 如果你理解了上面的这张图，你就理解了深度学习中的一个最核心的问题。