【笔记】论文阅读 | Human-level concept learning through probabilistic program induction

• 论文信息：Lake B M, Salakhutdinov R, Tenenbaum J B, et al. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.
• 博文作者：Veagau
• 编辑时间：2019年12月31日

本文是《Science》杂志2015年12月的封面文章，第一作者是纽约大学数据科学中心的B. M. Lake。文章主要讲的是让机器学习算法通过概率规划推断来进行人类级别的概念学习，同时进行视觉图灵测试验证了模型对于学习到的概念的创造性泛化能力。这篇论文向人们介绍了Few-shot Learning，尤其是One-shot Learning具有启发意义的应用实例，对少样本学习以及元学习之后的发展方向提供了一定的指导。

让机器达到人类级别的概念学习需要弄懂两个问题：其一是人类是如何通过一个或少量样本就能学习到新的概念的；其二是人类是如何学习到如此抽象、丰富、复杂的概念表示的。两点结合在一起就是要解决如何让模型从极其稀疏的数据中成功学习到有价值的概念并且产生丰富的表示的问题。对此，本文引入了贝叶斯规划学习（Bayesian Program Learning，简记BPL）框架来解决从单个样本中学习大量的视觉概念的问题，同时将这些概念以与人类接近的方式进行概括和推广。整个框架运用了感知科学和机器学习中三个关键思想：组合（Compositionality）、因果（Causality）和学会学习（Learning to Learn）。

• Compositionality：任何复杂的概念都可由简单的元素组合而成。
• Causality：在使用概率语义（probabilistic semantics）进行流程式的创造性泛化推广时，这种流程能够很自然的捕获实例生成的因果关系。
• Learning to Learn：构建层次性的先验知识，利用先前相关概念的经验来简化现阶段新概念的学习。

本文以作者提出的全新的手写字符集——Omniglot Data set为实验数据，验证使用BPL框架来进行One-shot Learning的有效性。为模型提供单个样本，让其提取相关概念之后分别进行分类（Classification）、生成（Generating）、笔画解析（Parsing）和新概念生成（New Concepts Generating）任务。
其中生成任务的模型框架如下图所示。

整个生成过程分为两个层级的操作：类型级与符号级。类型级的操作主要用于构建新的字符类型。首先模型从经验分布中确定每个字符的部件（parts）个数以及构成这些部件的子部件（sub-parts）的个数；接着模型从离散的元件库（primitives）中抽取子部件来构成部件的模板（template）；然后将部件参数化为曲线；最后各个部件以一定的关系（relation）进行组合，形成合理的字符。而符号级的操作主要是通过对生成部件和关系进行处理并对笔在纸上的墨迹建模以产生最后的可视化字符。
这篇论文除了介绍One-shot Learning在计算机视觉领域的应用，同时还讨论了基于BPL框架的One-shot Learning在语音识别领域的部署思路，展示了这种框架模型的适用性。