概率图模型（Probabilistic Graphical Models, PGMs）

概率图模型主要分为两大类：有向图模型和无向图模型。每类模型都有其特定的结构和用途。

1. 有向图模型（Directed Graphical Models）

有向图模型也称为贝叶斯网络（Bayesian Networks）或信念网络（Belief Networks）。它们使用有向无环图（DAG）来表示变量之间的条件依赖关系。

主要特点

• 有向无环图（DAG）：每个节点代表一个随机变量，每条有向边表示一个条件依赖关系。
• 局部独立性：每个节点在给定其父节点的情况下，与网络中的其他节点条件独立。
• 联合概率分布：可以通过条件概率表（Conditional Probability Tables, CPTs）来计算整个网络的联合概率分布。

代表模型

• 贝叶斯网络（Bayesian Network）：
  • 用于表示变量之间的条件依赖关系。
  • 广泛应用于推理、诊断、预测等领域。
• 动态贝叶斯网络（Dynamic Bayesian Network, DBN）：
  • 扩展了贝叶斯网络，用于处理时间序列数据。
  • 每个时间点的状态由前一个时间点的状态决定。
• 隐马尔可夫模型（Hidden Markov Model, HMM）：
  • 一种特殊的动态贝叶斯网络。
  • 用于处理具有隐藏状态的时间序列数据。
  • 隐藏状态不能直接观察到，但可以通过观测序列间接推断。
  • 广泛应用于语音识别、自然语言处理等领域。
• 马尔科夫链（Markov Chain）：
  • 用于描述系统的状态转移过程。
  • 系统在任意时刻的状态只依赖于前一时刻的状态（即马尔科夫性质）。
  • 通过转移矩阵来表示状态之间的转移概率。
  • 广泛应用于随机过程分析、排队理论、金融建模等领域。

2. 无向图模型（Undirected Graphical Models）

无向图模型也称为马尔科夫网（Markov Networks）或马尔科夫随机场（Markov Random Fields, MRFs）。它们使用无向图来表示变量之间的相互作用。

主要特点

• 无向图：每个节点代表一个随机变量，每条边表示两个节点之间的依赖关系。
• 局部马尔科夫性质：每个节点在给定其邻居节点的情况下，与网络中的其他节点条件独立。
• 联合概率分布：通过势函数（或因子）来定义节点之间的相互作用，从而计算整个网络的联合概率分布。

代表模型

• 马尔科夫网（Markov Network）：
  • 用于表示变量之间的相互作用。
  • 广泛应用于图像处理、自然语言处理等领域。
• 玻尔兹曼机（Boltzmann Machine, BM）：
  • 一种基于能量的生成模型。
  • 由可见单元和隐藏单元组成，所有单元之间都有连接。
• 受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）：
  • 玻尔兹曼机的一种简化形式。
  • 只允许可见单元与隐藏单元之间的连接，而禁止同一层内的连接。
• 深度玻尔兹曼机（Deep Boltzmann Machine, DBM）：
  • 包含多层隐藏单元的玻尔兹曼机。
  • 每层隐藏单元之间也是全连接的无向图。
• 深度信念网络（Deep Belief Network, DBN）：
  • 由多层受限玻尔兹曼机堆叠而成。
  • 通常通过无监督预训练和有监督微调的方法进行训练。

总结

• 有向图模型（贝叶斯网络）：

  • 贝叶斯网络
  • 动态贝叶斯网络
  • 隐马尔可夫模型
  • 马尔科夫链

• 无向图模型（马尔科夫网）：

  • 马尔科夫网
  • 玻尔兹曼机
  • 受限玻尔兹曼机
  • 深度玻尔兹曼机
  • 深度信念网络

这些模型在不同的应用场景中发挥着重要作用，从传统的推理和诊断任务到现代的深度学习任务。