What Learning Systems do Intelligent Agents Need? Complementary Learning Systems Theory Updated
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
Trends in Cognitive Sciences, no. 7 (2016): 512-534
Abstract
我们更新了互补学习系统（CLS）理论，该理论认为，智能体必须拥有两个在新皮质和海马哺乳动物中实例化的学习系统。前者逐渐获得结构化的知识表征，而后者则快速学习单独经验的细节。我们扩大了海马体记忆回放在理论中的作用，并指出回放允许经验统计的目标依赖权重。我们还解决了该理论的最新挑战，并通过证明海马体迹的循环激活可以支持某种形式的泛化以及对于与已知结构相符的信息可以快速进行新皮层学习来扩展该理论。最后，我们注意到该理论与AI智能体设计的相关性，强调了神经科学与机器学习之间的联系。
Trends
在一系列经验中结构的发现取决于新皮质的生物神经网络和当代人工神经网络的交错学习过程。
最近的工作表明，一旦在此类网络中获取了结构化知识，就可以快速集成新的一致信息。
自然和人工学习系统都受益于第二个系统，该系统存储了以哺乳动物海马体为中心的特定经验。
从该系统中回放经验可以支持交错学习，并且可以通过奖励或新颖性进行调节，从而使环境的总体统计与智能体的目标重新平衡。
基于实例的系统中多个内存的循环激活可用于发现经验之间的链接，从而支持泛化和基于内存的推理。
Box 1. Empirical Evidence Supporting Core Principles of CLS Theory
The Role of the Hippocampus in Memory
对海马体的双侧损害深刻影响了对新信息的记忆，使语言，阅读，常识和完整的获得性认知能力[29, 34]，这与许多新学习最初是依赖于海马体的想法相一致的。海马体受损严重影响了近期病前信息的记忆，而较老的记忆则较少依赖海马体，因此对海马体病变的敏感性较低[1, 34, 51, 128]，支持将学习到的信息逐步整合到皮层知识结构中。但是，一些证据表明，只要保留事件的详细信息（例如[130]），事件特定细节的记忆就可以保持MTL依赖性[52, 129]。
Hippocampus Supports Core Computations and Representations of a Fast-Learning Episodic Memory System
回合式记忆是依赖于海马体而被广泛接受的，这种记忆是通过将来自不同大脑区域的代表事件成分的各种输入结合在一起（即“自动关联”）的能力而介导的。确实，有关事件的空间（例如，位置）和非空间（例如，发生的事情）方面的信息被认为主要由并行流处理，然后才在DG/CA3子区域的水平在海马体中收敛[37]。人们认为，两个互补的计算——模式分离和模式完成——是海马体用于存储特定经验细节的功能的核心。有证据表明，海马体的齿状回（DG）子区域执行模式分离，使输入的输入正交化，然后自动关联存储在CA3区域中[131-137]。 此外，CA3子区域对于模式完成至关重要——允许从部分输入中输出与其位置相同的完整存储模式（例如，对应于整个回合式记忆）[138,139]（Boxes 2-4）。
Hippocampal Replay
大量证据表明，最近经验的回放发生在离线时期（例如，睡眠，休息期间）[2, 3]。此外，如CLS理论所预测，海马体和新皮层在回放过程中相互作用[65]，以支持交错学习。在上下文恐惧范式中学习后，转基因小鼠中CA3输出的光遗传学阻断特异性地减少了CA1中的尖波波纹（SWR）复杂度并损害了整合[69]，这一发现支持了回放在系统级整合中的因果作用。
The Hippocampus And Neocortex Support Qualitatively Different Forms of Representation
最近的一项实验[140]发现了初步证据：早期在莫里斯水迷宫中的大鼠行为似乎反映了单独的回合式迹（即基于实例的非参数化表征），但在稍后的时间点（学习28天后）与新大脑皮层中假定的参数化表征的使用相一致。
Box 2. Functional Roles of Subregions of the Medial Temporal Lobes
Box 3. Pattern Separation and Completion in Different Subregions of the Hippocampus
Box 4. Sparse Conjunctive Coding and Pattern Separation in the Dentate Gyrus
Box 5. Similarity-Based Coding in High-Level Visual Cortex
Complementary Learning Systems
Summary of the Theory
Structured Knowledge Representation System in Neocortex
Instance-Based Representation in the Hippocampal System
Joint Contribution to Task Performance
Replay of Hippocampal Memories and Interleaved Learning
Challenges Arising from Recent Empirical Findings
The Hippocampus, Inference, and Generalization
Cross-Item Inferences
Rapid Schema-Dependent Consolidation
Links Between CLS Theory and Machine-Learning Research
Deep Neural Networks and the Slow-Learning Neocortical System
Neural Networks and Replay
Continual Learning and the Hippocampus
Neural Networks with External Memory and the Hippocampus
Concluding Remarks
