《Python深度学习》笔记：人工智能、机器学习与深度学习关系
三者之间的关系：
人工智能>>机器学习>>深度学习。
人工智能
诞生于20世纪50年代。简洁的定义是：努力将通常由人类完成的智力任务自动化。
因此，人工智能是一个综合性的领域，不仅包括机器学习与深度学习，还包括更多不涉及学习的方法。
20世纪50年代到80年代，人工智能的主流范式是：符号主义人工智能(许多专家相信，只要程序员精心编写足够多的明确规则来处理知识，就可以实现与人类水平相当的人工智能)。符号主义人工智能适合解决定义明确的逻辑问题，但难以解决更加复杂、模糊的问题。于时出现了一种新的方法来代替符号主义人工智能，这就是机器学习。
机器学习
"机器学习的概念就来自于图灵的这个问题：对于计算机而言，除了“我们命令它做的任何
事情”之外，它能否自我学习执行特定任务的方法？计算机能否让我们大吃一惊？如果没有程
序员精心编写的数据处理规则，计算机能否通过观察数据自动学会这些规则？"
在经典的程序设计(即符号主义人工智能的范式)中，人们输入的是规则(即程序)和需要根据这些规则进行处理的数据，系统输出的是答案。利用机器学习，人们输入的是数据和从这些数据中预期得到的答案，系统输出的是规则。这些规则随后可应用于新数据，并使计算机自住生成答案。
机器学习系统是训练出来的，而不是明确地用程序编写出来的。
-
机器学习虽然在20世纪90年代才开始蓬勃发展，但其迅速成为了人工智能领域的重要分支。这一发展的驱动力来自于更快的硬件于更大的数据集。
-
机器学习与数据统计密切相关，但是二者在几个重要方面不同。
不同于统计学，机器学习经常用于处理复杂的大型数据集，而经典的统计分析常用来处理小数据集。机器学习呈现出相对较少的数学理论，并且是已工程为导向的。
这是一门需要上手实践的学科，想法更多地是靠实践来证明，而不是靠理论推导。
深度学习
深度学习的技术定义：学习数据表示的多级方法。
深度学习作为机器学习的重要分支，两者地核心问题在于有意义地变换数据。即在学习数据输入地有用表示——这种表示可以让数据更加接近预期输出。
机器学习地学习是指，寻找更好数据表示地自动搜索过程。
技术定义：在预先定义好地可能性空间中，利用反馈信号地指引来寻找数据地有用表示。
深度学习，它是从数据中学习表示的一种新方法，强调从连续的层(layer)中进行学习，这些层对应于越有意义的表示。“深度学习”的‘深度’指的并不是利用这种方法获得更深层次的理解，而是指一系列连续的表示层。数据模型中包含多少层，这被称为模型的深度(depth).这一领域的其它名称：分层表示学习(layered representation learning) 和层级表示学习(hierarchical representationa learning).
在深度学习中，这写分层表示几乎总是通过叫做‘神经网络(neural network)’的模型来学习。神经网络的结构是逐层堆叠。这一术语源自神经生物学，然而，虽然，深度学习的一些概念灵感意在模拟大脑的理解过程，但其迅速成为了人工智能领域的重要分支。但深度学习模型不是大脑模型。没有证据表明大脑的学习机制与现代深度学习模型所使用的相同。
深度学习是从数据中学习表示的一种数学框架。
深度学习的‘学习’的意思是为神经网络的所有层找到一组权重值，使得该网络能够在每一个示例输入与其目标正确地一一对应。
- 神经网络是由权重来参数化地。
- 神经网络地输出质量通过损失函数控制
- 反向传播算法，是神经网络优化的核心
