人工智能大发展历史和演变之路

早起起步阶段 --- 机器学习

  • 1950s - 1970s：符号主义和统计学习 : 主要符号主义（如逻辑推理）和统计学习（如线性回归、贝叶斯方法）
    • 主要符号主义和和规则引擎在做一些专家系统
    • 使用统计学做一些分析和预测分析
    • 自然语言处理的逻辑处理例如分词应用
逻辑推理和统计分析：
      机器学习最初的应用之一是在逻辑推理和统计分析中。例如，早期的机器学习算法尝试从数据中推断出规则或者模式，以便进行推理或者分析。
      这种方法包括基于统计模型的推理方法，如朴素贝叶斯分类器，它使用贝叶斯定理进行概率推断，以及决策树等方法。
符号主义的规则引擎与专家系统：
      符号主义的规则引擎和专家系统是早期人工智能的代表。这些系统基于人类专家的知识和规则，通过符号逻辑进行推理和决策。
      虽然它们不完全属于传统的机器学习范畴，但它们为机器学习的发展奠定了理论基础，尤其是在知识表示和推理方面的研究对现代机器学习产生了深远影响。
统计预测与线性数据处理：
      统计预测在机器学习的早期阶段主要集中在处理线性数据和基于统计模型的预测。
      例如，线性回归是一种最简单的统计预测方法，它用于建模变量之间的线性关系，并进行连续数值的预测。
      这种方法在经济学、社会科学和自然科学领域得到了广泛应用。
自然语言处理：
    早期的机器学习方法也被用于处理自然语言。尽管这些方法相比现代深度学习技术有限，但它们奠定了自然语言处理研究的基础。
    例如，基于统计的词袋模型和n-gram模型用于文本分类和语言建模，以及早期的机器翻译系统。
  • 1980s - 1990s：基于知识的系统和支持向量机 ：
    * 主要专家系统和基于规则的方法和支持向量机（SVM）等统计学习方法
    * 还是主要集中在专家系统但是过度依赖规则引擎（医疗诊断、工业控制、金融分析）
  • 但是SVM 在统计学上有较大的提升和进步
    • 图像、生物学、金融领域、医疗诊断系统、军事应用中的智能决策系统 （适用小批量、核函数敏感）
    • SVM在模式识别、图像识别和计算机视觉
    • 生物信息学领域SVM被用于分子生物学的数据分类和预测
    • 金融市场中用于股票市场预测和风险评估
处理模式识别、图像识别：
      SVM在模式识别和图像识别中表现出色。它能够有效地处理高维度的数据，通过找到最优的超平面来实现数据的分类和回归任务。
      在图像识别中，SVM可以用于特征提取和分类，例如人脸识别、物体识别等。
生物分子的数据分类和预测：
      SVM在生物信息学中有广泛应用，特别是在生物分子数据的分类和预测方面。
      例如，可以利用SVM对蛋白质序列进行分类或者对基因表达数据进行分类预测，帮助科学家理解生物分子之间的关系和功能。
市场评估和信息：
        SVM也被应用于市场评估和信息分析。它可以用来分析市场数据、预测股票价格走势、识别金融市场中的模式和趋势等。
        通过训练SVM模型，可以从大量的市场数据中提取出有用的信息，帮助投资者做出更加精准的决策。
SVM作为一种强大的监督学习算法，适用于处理高维度数据和复杂的分类问题  。
它在模式识别、图像识别、生物信息学以及市场评估等多个领域都有广泛的应用和成功案例。

兴起阶段 --- 深度学习

  • 1980s - 2000s：神经网络的出现，但是计算能力有限、数据集不足以及训练技术的限制，一直没多大起色，停滞不前
  • Geoffrey Hinton等研究人员在2006年提出了一种通过无监督学习预训练深度神经网络的方法（如深度信念网络），标志着深度学习的复兴。
  • 2010年后，随着大数据的出现、计算能力的提升（如GPU）、优化算法（如随机梯度下降法）的改进，以及开放源代码工具的普及（如TensorFlow、PyTorch等），深度学习迅速发展成为主流。
    • 卷积神经网络（CNN）和 递归神经网络（RNN）等架构在计算机视觉、自然语言处理等领域取得了突破性进展。
  • 这是重要的阶段出现大量的深度学习的框架和模型
    • 图像处理和计算机视觉任务领域
      • 框架：
        • TensorFlow（谷歌：支持分布式计算、大规模部署）、
        • PyTorch（facebook：支持动态定义和训练复杂的神经网络模型）、
        • MXNet （apache:高效的分布式训练和大规模部署）
        • Caffe （伯克利 : 擅长卷积神经网络计算）
      • 模型：
        • 卷积神经网络（CNN）(用于图像分类、目标检测等任务)：
          • AlexNet（在2012年ImageNet竞赛：Alex Krizhevsky首次引入深度学习技术并取得显著成绩）
          • VGGNet (牛津大学: 视觉几何组（VGG）的深度卷积神经网络模型，通过更深的网络层次提高了图像识别的准确性)
          • ResNet (微软研究院 ： 残差网络模型，通过引入残差块解决了深度神经网络训练过程中的梯度消失和梯度爆炸问题，推动了更深层次的网络设计)
        • 对象检测（实时目标检测）：
          • YOLO（Joseph Redmon和Ali Farhadi在美国华盛顿大学开发：单个神经网络模型实现端到端的目标检测，具有高速和准确性的特点）
          • Faster R-CNN（微软研究院：极大地推动了目标检测领域的发展，它的成功启发了许多后续的改进和变体模型）
          • SSD（谷歌：一种高效的目标检测器，被广泛应用于多个领域，包括计算机视觉、自动驾驶、工业自动化等）
        • 图像生成GANs（生成对抗网络）（图像生成和编辑）
          • DCGAN（Ian Goodfellow 2014年： 生成了高质量的逼真图像，例如人脸、动物和自然风景等）
          • PGGAN （NVIDIA研究人员：图像生成、视频生成、风格迁移等领域，显著提升了生成对抗网络在生成高质量图像方面的性能和稳定性，成为GAN领域的一个重要里程碑）
    • 自然语言处理和文本分析：
      * 框架： TensorFlow（谷歌：支持分布式计算、大规模部署）PyTorch（facebook：支持动态定义和训练复杂的神经网络模型）、Hugging Face Transformers(谷歌)
      * 模型：
      • 递归神经网络（RNN）和长短期记忆网络（LSTM）： 用于文本生成、情感分析等。
      • Transformer模型： BERT、GPT等用于文本分类、问答系统、语言建模等。
      • 序列到序列模型（Seq2Seq）： 用于机器翻译、文本摘要等任务。
    • 强化学习和控制系统：
      • 框架： TensorFlow、PyTorch、OpenAI Gym
      • 模型：
        • 深度Q网络（DQN）： 用于处理离散动作空间的强化学习任务。
        • 连续动作空间： 深度确定性策略梯度（DDPG）、演员-评论家模型（A2C、A3C）等。
        • 进化策略（Evolution Strategies）： 用于解决复杂的连续动作空间问题。
    • 通用应用和工业实践：
      框架： TensorFlow、PyTorch、Keras
      模型：
      • 预训练模型的微调： 如使用BERT或GPT的预训练模型，在特定任务上进行微调以提高性能。
      • 集成学习和模型融合： 结合多个模型的预测结果来提高准确性和鲁棒性。
      • 自动化机器学习： 使用框架如AutoML来自动化特征工程、模型选择和调优过程。
    • 模型部署和优化：
      • 框架： TensorFlow Serving、ONNX、TorchScript
      • 技术：
        • 模型压缩和量化： 减少模型的存储空间和计算资源消耗。
        • 分布式训练和部署： 使用多GPU或分布式计算平台加速训练和实时推理。
        • 端到端的部署管道： 将训练好的模型转换为可部署的格式，并集成到生产环境中。
大数据的可用性：
    深度学习模型通常需要大量的数据来进行训练，以便有效地学习复杂的特征和模式。
    随着互联网的普及和数据存储技术的进步，大规模数据集的获取和存储变得更加容易和经济实惠。
     这种大数据的可用性为深度学习提供了充足的训练样本，使得模型在现实世界的各种应用中表现更加出色。
计算能力的提升：
       深度学习模型通常需要大量的计算资源来训练和优化。
        随着图形处理单元（GPU）和更高效的并行计算架构的出现，特别是深度学习框架如TensorFlow和PyTorch的开发，研究人员和工程师们能够更快速、更有效地训练和部署复杂的深度神经网络模型。
        这种计算能力的提升使得深度学习模型能够处理更大规模、更复杂的数据和任务。
无监督学习的神经网络的出现：
      传统的监督学习需要大量标记好的数据，而这种数据往往昂贵且难以获取。无监督学习的神经网络，如自编码器（Autoencoder）和变分自编码器（VAE），通过学习数据的潜在结构和特征表示，为监督学习提供了更好的初始表示和预训练模型。
      这些无监督学习方法的出现极大地推动了深度学习的发展，使得深度学习模型在数据较少或无标签数据情况下也能表现出色。
  • 大工程变分自编码器 核心的是自编码和变分推断
    变分推断（Variational Inference）是一种用于近似复杂概率模型后验分布的方法，它结合了概率建模和优化技术。
    它的核心思想是通过一个简单的分布来近似复杂的后验分布，从而简化推断过程。
原理
    在概率建模中，通常我们希望推断未观察到的隐变量（潜在变量）在给定观察数据的情况下的后验分布。
    然而，对于许多现实中的复杂模型，后验分布往往是难以直接计算的，尤其是当模型包含大量的隐变量时。
    变分推断的基本思想是引入一个简单的分布（变分分布），例如高斯分布或者均匀分布，来近似真实的后验分布。
    然后，通过最小化这个变分分布与真实后验分布之间的差异（通常使用KL散度），来优化这个近似分布的参数。
    这样做的目的是在保持推断的精度的同时，使推断过程更加高效。
优点
    计算效率：相比传统的精确推断方法，变分推断通常可以显著减少计算复杂度和内存消耗。
    适应性：适用于大规模数据和复杂模型，尤其是在深度学习和贝叶斯方法中的应用较为广泛。
    理论基础：变分推断提供了一种基于优化的概率推断方法，有着坚实的数学理论基础。
应用场景
  变分推断被广泛应用于以下场景：
      贝叶斯概率模型：用于推断复杂的贝叶斯概率模型中的后验分布，例如变分自编码器（VAE）中的潜在变量推断。
      深度学习：在深度学习中，特别是生成模型如生成对抗网络（GANs）和变分自编码器（VAE）中，变分推断被用来处理潜在空间的推断和生成新样本。
      大数据分析：用于处理大规模数据集时，例如在自然语言处理中的主题模型、推荐系统中的用户行为建模等。
变分推断是一种强大的统计推断方法，适用于复杂模型的后验推断问题，能够有效地近似复杂的概率分布并提供高效的推断解决方案。

爆发阶段 ---大模型兴起 GPT、Genmini、 BERT

  • 2020s后期至今：大模型的发展 ，数据量的爆炸式增长、硬件计算能力的持续提升（如TPU等专用芯片）、以及深度学习算法的不断优化
    • chatgpt4 通常包含数十亿甚至数百亿个参数，能够更精确地捕捉复杂的数据模式和语义信息
    • BERT 在翻译领域3.4亿参数，高效翻译
    • Genmini 更多加强劲的可以多模态输入和输出
posted @ 2024-07-04 17:33  vx_guanchaoguo0  阅读(4)  评论(0)  编辑  收藏  举报