人工智能概述（4）：深度学习是什么
这一切要从 人工神经网络（Artificial Neural Network，即ANN） 说起...
ANN
生物神经元 图示：图片来源
人工神经元 是 ANN的基础，一般模型（还有非一般的演化中的？）如下：图片来源
由于 神经元 具备 信息处理（计算）和传递（通信） 的功能，于是，将 多个神经元 组合起来 构成 人工神经（元）网络（ANN）。
参考资料#2 对 人工神经网络 的 演化 做了 很好的介绍。
一个简单的ANN如下：图片来源
根据 百度百科：人工神经网络 介绍说，神经网络模型 有40种，现在一定更多了。
|
人工神经网络模型主要考虑网络连接的 拓扑结构、神经元的特征、学习规则 等。 目前，已有近40种神经网络模型，其中有 反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论 等。 |
最初的ANN 是 很简单的，功能很弱——智能不足，在 先行者（科学家等） 的 持续努力 和 其它技术进步（也由 先行者 推动） 下，各种复杂的人工神经网络 被创造出来，AI研究也 进入了 深度学习时代。
深度学习（Deep Learning）
深度学习 是 一种机器学习技术，其基础是 神经网络。
深度学习 使用 深度神经网络（Deep Neural Network，DNN） 来进行机器学习。
根据 参考资料#5 的介绍，DNN 也叫 多层感知机（Multi-Layer perceptron，MLP）——多在有很多隐藏层，资料 介绍了 从 感知机 到 DNN 的演变。
下图来自 参考资料#5：
提出时间：2006年
提出人：Geoffrey Hinton、Yoshua Bengio、Yann LeCun 等
|
百度百科：深度学习 自从2006年，Hinton 等 提出 快速计算 受限玻耳兹曼机（RBM）网络权值及偏差的 CD-K算法 以后，RBM就成了增加神经网络深度的有力工具，导致后面使用广泛的 DBN 等 深度网络的出现。 与此同时，稀疏编码 等 由于能 自动从数据中提取特征 也被应用于深度学习中。 基于局部数据区域 的 卷积神经网络（CNN） 方法近年来也被大量研究。 |
神经网络和深度学习的关系：隐藏层多少
下面是 知乎网页 土豆司斯基 的回答：
--
深度学习的基础 虽然是 神经网络模型，但是，也不全是。下面是 知乎网友 Fain 的回答截图：
--
在 参考资料#8 中，知乎网友 春天不是读书天 还提到了以下概念，刷新了自己对 深度学习等的认知：
|
深度学习的强大是有数学原理支撑的，这个原理叫做“万能近似定理”（Universal approximation theorem）。 这个定理的道理很简单 —— 神经网络可以拟合任何函数，不管这个函数的表达是多么的复杂。
深度学习 是 一个黑箱。 |
深度学习的一般方法
在 参考资料#7 中，知乎网友 TechArtisan6 画图介绍了这个一般方法：
--
使用 原始数据 + （深度）神经网络 进行 训练，得到 Model；再使用 Model 预测 新数据。
上图中，是 一个 分类问题。
神经网络（NN）汇总
多年来，深度学习蓬勃发展，各种NN层出不穷，用于解决各种应用方面的问题。
本文 通过阅读先行者的博文，对 部分重要的神经网络 做一个简单的整理。
不少博文会有不同的名词，比如，深度学习算法、深度学习模型、深度学习框架 等，本文选择 神经网络 这个名词来进行汇总——NN 是 一种算法，但主要是 一种实现算法的网络；而 模型 是 经过 NN 训练后得到的。
参考资料#9 是 2016年 ASIMOV Institute 对 NN 做的一个整理——包括名称、基本结构，看着挺好看的。
循环神经网络（Recurrent Neural Network，RNN）
监督学习。
由其演化而来的NN，比如：
长短期记忆网络（Long Short-term Memory Network，LSTM）
双向RNN
GRU
...
注意和 递归神经网络(Recursive Neural Networks) 区分。
参考资料#11 的一个图片：
卷积神经网络（Convolutional Neural Network，CNN）
监督学习。
由其演化而来的NN，比如：
LeNet
GoogLeNet
ResNet
YOLO
……
参考资料#11 的一个图片：
--
深度信念网络（Deep Belief Network，DBN）
无监督学习。
也翻译为 “深度置信网络”。
参考资料#11 介绍：
|
DBN 是 祖师爷 Hinton在06年提出的，主要有两个部分: 1. 堆叠的受限玻尔兹曼机(Stacked RBM) 2. 一层普通的前馈网络。 |
生成对抗网络（Generative Adversarial Network，GAN）
无监督学习。
参考资料#11 介绍：
|
简单的说，GAN训练两个网络： 1. 生成网络用于生成图片使其与训练数据相似 2. 判别式网络用于判断生成网络中得到的图片是否是真的是训练数据还是伪装的数据。
-- |
Attention（Transformer）
Google 在 2017年 发布了一篇论文：
Attention Is All You Need
https://arxiv.org/abs/1706.03762
基于此（Transformer），Google 开发了 Bert，OpenAI 开发了 GPT。
知乎：Transformer模型详解（图解最完整版）
https://zhuanlan.zhihu.com/p/338817680
--
具体请看原文。
深度强化学习（Deep Reinforcement Learning）
强化学习 是 机器学习 中的一个分支。
强化学习 可以使用 深度学习，也可以不使用。
代表算法：
DQN(Deep Q-learning)算法
...
知乎：DeepRL系列(7): DQN(Deep Q-learning)算法原理与实现
https://zhuanlan.zhihu.com/p/97856004
发布于 2019-12-17 17:34
其中的介绍：
|
Q_Learning算法 是Watkins于1989年提出的一种无模型的强化学习技术。 Deep Q Network（DQN, 而这正是由 DeepMind 于 2013年和2015年 分别提出的两篇论文《Playing Atari with Deep Reinforcement Learning》《Human-level Control through Deep Reinforcement Learning：Nature杂志》 |
反思小结
深度学习的发展实在是太快了，各种新的神经网络持续爆发，以一己之力实在是太难追赶。
自己尚未入门（没有训练过模型、没有参加过大赛等），对 深度学习的基础知识 知晓很少，看来，需要投入更多精时，再配合正确的方法前进才是的。
怎么会有这么多 NN 被创造出来呢？基于什么样的需求？还是，各种 大赛的刺激？
大赛有哪些？老是听到 ImageNet、Kaggle、阿里云的天池大赛……啥时候也去参加下嘛！
别好高骛远了。
先 打基础——那么多东西没搞清楚呢，再徐图大业。
---END---
特别说明，
1）本文引用了很多博文链接，如有侵权，请通知；
2）作者水平非常有限，如有错漏，非常欢迎不吝指正。
本文链接：
https://www.cnblogs.com/luo630/p/17459500.html
参考资料
https://zhuanlan.zhihu.com/p/43285366
编辑于 2019-07-17 08:43
3、知乎：什么是人工神经网络（ANN）?
by CDA数据分析师
https://zhuanlan.zhihu.com/p/111288383
编辑于 2020-03-06 13:22
https://zhuanlan.zhihu.com/p/420585982
发布于 2021-10-12 14:46
5、知乎：深度神经网络(DNN)
漫漫成长
https://zhuanlan.zhihu.com/p/29815081
编辑于 2017-10-12 12:27
6、知乎：【神经网络】综合篇——人工神经网络、卷积神经网络、循环神经网络、生成对抗网络
by 程序媛七七
https://zhuanlan.zhihu.com/p/485638227
发布于 2022-03-23 14:01
7、深度学习(1): 深度学习简介
by TechArtisan6
https://zhuanlan.zhihu.com/p/150646196
发布于 2020-06-25 11:01
https://zhuanlan.zhihu.com/p/72415675
发布于 2019-07-05 22:51
9、神经网络图 2016年
https://oscimg.oschina.net/oscnet/59f119daafd55fdf1f5af2c9e36d30965e7.jpg
CSDN博文：27种深度学习的主流神经网络
https://blog.csdn.net/rogerchen1983/article/details/90271547
10、【深度学习】Deep Learning必备之必背十大网络结构
by Taily老段
https://blog.csdn.net/Taily_Duan/article/details/82871593
于 2018-09-27 18:48:07 发布
by 微调
https://zhuanlan.zhihu.com/p/29769502
编辑于 2017-09-29 09:30
12、主流的25个深度学习模型
by 昂刺鱼人工智能
于 2019-08-19 15:50:22 发布
原文链接：https://blog.csdn.net/angciyu/article/details/99729871
13、
ben发布于博客园
