AI 相关术语了解记录
此图像通过DALL·3创作
AI 人工智能（Artificial Intelligence），英文缩写为AI。 它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是新一轮科技革命和产业变革的重要驱动力量。
在计算机科学中，人工智能（AI），有时也称为机器智能，是用人工的方法在机器（计算机）上实现的智能；或者说是人们使机器具有类似于人的智能。
麦卡锡等提出：对于人工智能预期目标的设想是“精确地描述学习的每个方面或智能的任何其他特征，从而可以制造出一个机器来模拟学习或智能”（Every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it）。该预期目标曾被认为是人工智能的定义，对人工智能的发展起到了重要的作用。
马文·明斯基 提出：“人工智能是一门科学，是使机器做那些人需要通过智能来做的事情”。
尼尔斯·约翰·尼尔森 提出：“人工智能是关于知识的科学——怎样表示知识以及怎样获得知识并使用知识的科学”，所谓“知识的科学”就是研究知识表示、知识获取和知识运用的科学。
温斯顿教授 提出：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作”。
有效利他主义（AI保守派） Effective Altruism
简称：EA
理念：如果生活在数千英里外的人很重要，那么数千年以后的人也同样重要，也就是需要为以后的人类和后台做铺垫。
有效加速主义 （AI激进派）Effective Accelerationism
简称：E/ACC
理念： 技术与资本应该联合，无条件实现加速技术创新，并且快速推向市场来颠覆社会结构
GPT 是Generative Pre-Trained Transformer（生成式预训练Transformer模型）的缩写；这是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。其中，“Generative”表示该模型具有生成文本的能力，“Pre-trained”指的是在对模型进行特定任务微调之前，先对其进行大量文本数据集的预训练，“Transformer”指的是模型所用的基本架构
DNN 全称为Deep Neural Network，即深度神经网络，是一种模拟人脑神经元连接的计算模型，用于实现机器学习和人工智能中的各种任务，如图像识别、语音识别、自然语言处理等。DNN由多层神经元组成，每一层神经元通过权重和偏置与其他层连接，并传递信号。深度神经网络的训练通常通过反向传播算法来实现，以调整权重和偏置，使网络达到最优性能。
RLFH (Reinforcement Learning from Human Feedback) 从人类反馈中学习的强化学习
# 训练过程
- Collect human feedback 收集人类反馈
- Train reward model 训练奖励模型
RM Reward Model 奖励模型
3. Train policy with PPO 训练策略模型
Policy Gradient RL ，策略梯度强化学习
PPO Proximal Policy Optimization，近端策略优化
LLM (Large language model) 大型语言模型
MLM（Masked Language Modeling）掩码语言建模
是一种自然语言处理中的预训练任务，主要用于训练语言模型以理解和生成自然语言文本。这种建模方法的核心思想是在输入文本中随机遮蔽（mask）一些词汇，并要求模型根据文本的其余部分来预测这些被遮蔽的词汇。
RL Reinforcement Learning 强化学习
强化学习是一种机器学习类型，它通过最大化奖励来训练代理在环境中做出决策
MSE（mean square error）
均方误差是反映估计量与被估计量之间差异程度的一种度量
loss function/cost function 损失函数
衡量差距的函数（一个公式）就是损失函数
optimization algorithm 优化算法
用来调整参数的方法就是优化算法
RNN （Recurrent Neural Network) 序列模型
PTM （Pretrained Models) 预训练模型
LSTM ，(Long Short-Term Memory）长短期记忆网络，是一种特殊的循环神经网络（RNN）。它能够学习长期的依赖关系，有效解决了传统RNN在处理长序列时可能出现的梯度消失或梯度爆炸问题。
# 算力相关
FLOPs（Floating Point Operations，每秒浮点运算次数）
Training Cost（训练成本）
Inference（推理）
# 文心千帆大模型
什么是SFT
监督微调 Supervised Fine-Tuning（SFT）是指采用预先训练好的神经网络模型，并针对你自己的专门任务在少量的监督数据上对其进行重新训练的技术。在千帆平台上已经预置了ERNIE-Bot系列大模型和BLOOM系列大模型。
#
数据表示（Representation），表示学习（底层特征、中层特征、高层特征）
词嵌入（Word Embeddings）语义相似的词靠的比较近
线性投影（子空间）
PCA（主成分分析）无监督的降维方法，主要用于数据降维和特征提取
LDA（线性判别分析）一种有监督的降维方法，主要用于分类和降维
非线性嵌入
LLE
Isomap
谱方法
特征提取：基于任务或先验对去除无用特征
表示学习：通过深度模型学习高层语义特征
深度学习 = 表示学习 + 决策（预测）学习
# 飞桨相关- PPYOLO
PAN （Path Aggregation Network） 路径聚合网络
FPN（Feature Pyramid Networks）特征金字塔网络
SPP（Spatial Pyramid Pooling）空间金字塔池化
SyncBN(Synchronization Batch Normalization) 同步批量规范化
Batch Normalization的性能和Batch size有很大的关系，Batch size越大，BN的统计量会越准。然而，在检测任务中，显存占用高，单卡的Batch size过小，影响模型的收敛效果。SyncBN可以使全局的样本进行归一化，训练效果不再受GPU数量影响。
EMA（Exponential Moving Average）指数滑动平均
是指将参数过去一段时间的均值作为新的参数。相比直接对参数进行更新，采用滑动平均的方式能让参数学习过程中变得更加平缓，能有效避免异常值对参数更新的影响，提升模型训练的收敛效果
DropBlock 讲特征图中连续的区域一起丢弃，该方法能够提高最终的准确率
Backbone和Neck是计算机视觉领域中常用的网络结构，特别是指基于深度学习的目标检测模型中的结构。
Backbone指的是提取图像特征的主干网络，通常用于提取图像的基本特征，以便供后面的网络使用。在目标检测中，Backbone可以提取图像中的特征，这些特征对于检测目标的位置和类别非常重要。Backbone通常包含多个卷积层和池化层，例如VGG、ResNet、Inception等网络的一部分。
Neck指的是连接Backbone和Head的网络，通常用于更好地利用Backbone提取的特征。在目标检测中，Neck通常包含一些额外的卷积层或池化层，例如SPP层、ASPP层、RFB层等，这些层可以帮助改善特征提取和目标检测的准确性。
# 飞桨相关- PP-OCR
CopyPaste 数据增强
DB（Differentiable Binarization）可微分二值化,通过将二值化操作插入到分割网络中进行组合优化，从而实现闻值在热力图各处的自适应。
TIA( Text lmage Augmentation) 文本图像增强
# 模型压缩
量化: 将神经网络前向过程中的浮点运算量化为低比特的定点计算
剪枝: 结构化剪枝和非结构化剪枝
蒸馏: 将复杂网络中有用的信息提取出来，迁移到一个更小的网络中去，从而达到节省计算资源的目的
NAS: 利用机器学习算法搜索更小的模型结构，保持最优精度
飞桨模型压缩套件——PaddleSlim
PaddleSlim是一个专注于深度学习模型压缩的工具库，提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略，帮助开发者快速实现模型的小型化。
# 模型评测相关术语
#
6月15日，王小川创立的百川智能宣布Baichuan-7B正式开源发布。25天以后，百川智能又拿出了一款全新的模型——Baichuan-13B。该模型号称拥有130亿的参数规模，集高性能、完全开源、免费可商用等诸多优势于一身
7 月 6 日，上海人工智能实验室与商汤科技等联合发布了书生・浦语开源体系（https://github.com/InternLM），不仅开源了书生・浦语的轻量版本（InternLM-7B），还率先开源了从数据、训练到评测的全链条工具体系，并提供完全免费的商用许可；
7 月 14 日，智谱科技开放 ChatGLM2-6B 免费商用；
7 月 19 日，Meta 开源了性能更强的 Llama-2，也提供了更加宽松的商用许可。
MMLU：这是一个用于评估模型在零样本和少样本设置下的知识和问题解决能力的新基准 。
CEval：这是一个用于评估模型在常识推理方面的能力的任务。
GSM8k：这是一个包含了科学领域的多项选择题的数据集。
MATH：这是一个用于评估模型在数学推理方面的能力的任务。
TriviaQA： 这是一个用于评估模型在开放域问答方面的能力的任务，要求模型从一个大规模的事实数据库中检索正确的答案。
HumanEval：这是一个用于评估模型在人类评价方面的能力的任务，要求模型生成一些人类可以理解和评价的内容。
BBH：这是一个用于评估模型在基于行为的对话方面的能力的任务，要求模型根据用户的意图和情感生成合适的回复。
#「百度AI大底座」系列云智公开课第八期—《百度百舸平台的大模型训练最佳实践》
高性能存储系列
PFS ： PFS（Progressive File Storage）是一种面向移动云的高性能、高并发文件存储服务。它采用分布式架构，将数据存储在集群中的多个数据节点上，支持多应用客户端并行访问，为大型高性能计算集群提供高IOPS、高吞吐、低时延的数据存储服务。PFS适用于AI、HPC等多种应用场景，如人工智能、机器学习、高性能计算、自动驾驶等。PFS单个文件系统可提供百万级IOPS和毫秒级延时，并且IOPS随容量线性扩展。PFS采用多重数据保护机制，提供高可靠、高可用的存储服务，保证数据的安全性。此外，PFS还支持在线的扩容、后台自动负载均衡等功能，以满足日益增长的容量和性能需求。PFS可以与移动云的其他服务如EOS（对象存储）、CVM（云主机）等配合使用，以提供更全面、高效的云服务解决方案。
高速互联网络
NVLink： NVLink是英伟达（NVIDIA）开发并推出的一种总线及其通信协议。NVLink采用点对点结构、串列传输，用于中央处理器（CPU）与图形处理器（GPU）之间的连接，也可用于多个图形处理器之间的相互连接
RDMA：RDMA （Remote Direct Memroy Access ）为了消除传统网络通信带给计算任务的瓶颈，我们希望更快和更轻量级的网络通信，由此提出了RDMA技术。RDMA利用 Kernel Bypass 和 Zero Copy技术提供了低延迟的特性，同时减少了CPU占用，减少了内存带宽瓶颈，提供了很高的带宽利用率。RDMA提供了给基于 IO 的通道，这种通道允许一个应用程序通过RDMA设备对远程的虚拟内存进行直接的读写。（详细介绍：参考）
VPC：VPC （Virtual Private Cloud，虚拟私有云），为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云服务器的访问规则，加强弹性云服务器的安全保护。
CKPT：CKPT（Check Point）是一种用于检查和报告计算机系统安全状态的检查点技术。它通常用于网络安全领域，用于监测和保护网络免受攻击和恶意软件的入侵。
在CKPT技术中，网络中的关键节点（如服务器、路由器、交换机等）会设置检查点，对经过的数据包进行扫描和检查。当发现可疑行为或违反安全策略的行为时，检查点会生成一个检查点记录，包括相关的日志信息、时间戳、源IP地址等。这些记录会被发送到中央管理平台进行分析和处理。CKPT技术可以提供实时监控和报警机制，帮助网络管理员及时发现和响应安全威胁。同时，它还可以提供详细的日志和报告，帮助管理员进行事后分析和审计。需要注意的是，CKPT技术也有其局限性，例如可能会影响网络性能、可能会出现误报或漏报等。因此，在使用CKPT时需要根据实际情况进行权衡和调整。
