摘要：
神经网络组件 ： 简单神经元；多层神经元；前馈神经网络；非线性等。 如何训练 ： 目标；梯度；反向传播。 词表示：Word2Vec： 常见的神经网络 ： RNN（循环神经网络） ： 序列记忆；语言模型。 RNN的梯度问题。 变体：GRU；LSTM；双向RNN。 CNN（卷积神经网络） ： NLP流水 阅读全文
摘要：
这张幻灯片讨论了大模型背后的范式，特别是预训练和微调的基本范式可以追溯到迁移学习。以下是主要内容： 迁移学习 ： 预训练和微调的基本范式可以追溯到迁移学习。 人类可以应用之前学到的知识更快地处理新问题，我们希望机器也具有类似的能力。 传统机器学习 vs. 迁移学习 ： 左侧图示（a）展示了传统机器学 阅读全文