《python深度学习》笔记---9.3、深度学习的未来

《python深度学习》笔记---9.3、深度学习的未来

一、总结

一句话总结：

【模型将变得更像程序，其能力将远远超出我们目前对输入数据所做的连续几何变换】：这些程序可以说是更加接近于人类关于周围环境和自身的抽象心智模型。因为它们具有丰 富的算法特性，所以还具有更强的泛化能力。

【具体而言，模型将会融合算法模块与几何模块，前者提供正式的推理、搜索和抽象能力， 后者提供非正式的直觉和模式识别能力】：AlphaGo（这个系统需要大量的手动软件工程 和人为设计决策）就是这种符号人工智能和几何人工智能融合的一个早期例子。

【通过使用存储在可复用子程序的全局库（这个库随着在数千个先前任务和数据集上学习 高性能模型而不断进化）中的模块化部件，这种模型可以自动成长（grow），而不需要 人类工程师对其硬编码】：随着元学习系统识别出经常出现的问题解决模式，这些模式将 会被转化为可复用的子程序（正如软件工程中的函数和类），并被添加到全局库中。这 样就可以实现抽象。

【这个全局库和相关的模型成长系统能够实现某种形式的与人类类似的极端泛化】：给定一 个新任务或新情况，系统使用很少的数据就能组合出一个适用于该任务的新的有效模型， 这要归功于丰富的类似程序的原语，它具有很好的泛化能力，还要归功于在类似任务上 的大量经验。按照同样的方法，如果一个人具有很多以前的游戏经验，那么他可以很快 学会玩一个复杂的新视频游戏，因为从先前经验得到的模型是抽象的、类似程序的，而 不是刺激与行动之间的简单映射。

 

 

1、循环神经网络（RNN）的 本质？

【因为RNN 不仅仅是几何变换，它是在 for 循环内不断重复的几何变换。】

【RNN 在能够表示的内容方面仍然非常有限，这主要是因为它执行的每一步都是 一个可微的几何变换，从一步到另一步都是通过连续几何空间中的点（状态向量）来携带信息。 】

 

 

2、当前深度神经网络现状？

【抛弃只能进行纯模式识 别并且只能实现局部泛化的模型，转而研究能够进行抽象和推理并且能够实现极端泛化的模型】

 

 

3、真正能做极端泛化的模型可能长什么样？

【模型将会融合算法模块与几何模块】：现在想象一个神经网络，它用一种类似编程原语的方式得到了增强，但网络并不是单一硬编码 的 for 循环，具有硬编码的几何记忆，而是包含大量的编程原语，模型可以自由地操作这些原语来扩展其处理功能，比如 if 分支、while 语句、变量创建、长期记忆的磁盘存储、排序运算符、 高级数据结构（如列表、图和散列表）等。这种网络能够表示的程序空间要远远大于当前深度 学习模型的表示范围，其中某些程序还可以实现优秀的泛化能力。

 

 

 

二、内容在总结中

博客对应课程的视频位置：