《中国人工智能系列白皮书——深度学习》【中国人工智能协会】（2023年9月）

以 ”软件——速度——机器学习——深度学习“的视角

人工智能的历史与现状

人工智能概念的提出：1956年达特茅斯会议

人工智能黄金时代：1960-1980，感知机，贝叶斯网络等模型提出。

人工智能的冬天：1980年之后。原因是模型、算力、数据都不足。

1997年，”深蓝“超级计算机打败了职业象棋棋手”卡斯帕罗夫“，因为三点：①上万把前人对局数据的存储②搜索算法③硬件上的并行计算

21世纪前，leNet在手写数字识别的方向上做到对邮票数字识别准确率低于1%

复兴期：21世纪初-2010。以SVM为代表的机器学习，神经网络的提出【上面这些，因为能使用非枚举的方法实现对NP问题的解决，所以可以叫做机器学习。因为网络深度还不够深，问题解决能力远远比不上下面这些，所以都只能叫机器学习】

爆发期：2010年之后。深度神经网络的提出，以后的模型都是很有深度，所以叫深度学习。AlexNet,GoogleNet,VGG,GesNet，lstm，GAN,VAE,AlphaGo,transformer,ChatGPT,Unet,SAM的提出。

深度学习模型

深度学习模型的特点是模型深度比较深，所以需要较多的数据来更新模型的权重，还有更高的算力来支持训练和使用。

然后是介绍了一些深度学习模型的结构。

深度学习模型压缩

chatGPT3有1750亿参数，使得一般电脑没有能力、没有足够算力跑得动这个模型，也可能存储不了这十几G的模型。就需要考虑如何压缩模型。

压缩方式有三种：剪枝、知识蒸馏、量化

剪枝：删除冗余节点

知识蒸馏：用大模型（教师网络）训练小网络（学生网络），缺点是只能用于分类任务

量化：将模型节点精度从32位转为16位甚至8位

人工智能大模型

深度学习大模型（GPT3）定义：拥有千万到亿级（1750万）参数，基于超大规模（500GB数据）数据集，在高算力集群上（335个GPU年）训练，在大规模未标记数据上训练得到特征表示，再在有标签的数据上进行微调使之适配特定的任务。

例子：chatGPT，悟道，神农

深度学习与图像描述生成及视觉定位（给图像生成文本）

数据爆炸时代，文本数据很好统计并分类。但是图像数据是非结构化的，需要找到一种方式来组织、存储、检索图像。也就是让计算机在语义上理解图像。

分为三步：文本特征提取，视觉特征提取，视觉与文本特征融合推理

介绍了一些最新（至2023.08）的模型

深度学习在编码中的应用

超高清视频、虚拟现实视频、全景视频等技术的出现，使得传统视频编码性能跟不上需求。需要深度神经网络来对视频进行编码，使得体积更小。

介绍了一些最新（至2023.08）的模型

---------------------------------接下来是AI for Science的交叉学科应用-------------------------------------------------------------------------

深度学习在天文学研究中的应用

目标检测（太阳黑子），时间预测（预测太阳耀斑发生时间），图像生成（电磁干扰下图像的重建使得图像变清晰）

雷达智能信息处理

图像处理（去除雷达生成图像噪声，增强微弱信号），目标检测（海上目标）

深度学习与智慧海洋相关应用

水下图像处理（去噪）

深度学习与医工结合相关应用

医学图像分类、检测、分割、增强、图像生成

深度学习在大数据处理中的应用

对天文大数据（天文望远镜采集到的大量观测数据）分类、处理

对医疗大数据（每天人们看病产生的结构化和非结构化文字、图像数据）疾病诊断

对金融大数据（银行、证券交易、保险）的分类、预测

深度学习在三维点云技术中的应用（3维空间点的集合）

点云压缩、点云压缩修复（补全）