深度学习笔记01-绪论

1 绪论

目录

• 1 绪论
  • 1.2 机器学习
  • 1.3 表示学习
    • 局部表示
    • 分布式表示
    • 表示学习
    • 传统特征提取与表示学习
  • 1.4 深度学习
  • 1.5 人工神经网络

1.2 机器学习

传统机器学习可以看作浅层学习：不涉及特征学习，特征靠人工经验或特征转换方法来抽取。将这些特征输入到预测模型（从特征到结果的一个映射函数），并输出预测结果。

1.3 表示学习

概念：如果有一种算法可以自动地学习出有效的特征（或表示），并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习（Representation Learning）。

表示学习关键问题：语义鸿沟——数据的底层特征与高层语义的差异。

局部表示

离散表示：one-hot向量

例如表示颜色：有多少种颜色向量就有几维，其中只有一个为1

分布式表示

压缩、低维、稠密向量

例如表示颜色：使用rgb值来表示颜色。

表示学习

表示学习的核心是自动地从数据中学习到好的表示。可以通过构建具有深度的模型，让模型自动去学习好的表示，从而提高预测准确率。

传统特征提取与表示学习

特征提取：基于任务或先验去除无用特征

表示学习：通过深度模型学习高层语义特征

1.4 深度学习

简单来说，深度学习可以理解为表示学习加上浅层学习。

深度学习的难点主要在于贡献度分配问题：即一个系统中不同的组件或其参数对最终系统输出结果的贡献或影响。例如下围棋为例，对于每盘棋的结果，需要思考中间哪几步棋导致了最后的胜利或失败。

深度学习的数学表示是一个多层复合函数。当每层的f(x)连续时，这个复合函数就可以称为神经网络。

1.5 人工神经网络

人工神经元

人工神经网络主要由大量神经元以及它们之间的有向连接构成，不同神经网络的区别主要在于：

• 神经元的激活规则
• 网络拓扑结构
• 学习算法

神经网络结构大多由以下三种组合而成：

神经网络与深度学习的对应：

神经网络如何解决贡献度分配问题：

• 使用偏导数：y是最后的输出，我们W(l)是第l层的参数，我们通过对W进行一个扰动来观察y的变化。如果一个微小的扰动就让y变化很大，那么这个参数的贡献度也大。