Neural Message Passing for Quantum Chemistry

目录

• 概
• 符号说明
• 框架

Gilmer J., Schoenholz S. S., Riley P. F., Vinyals O. and Dahl G. E. Neural message passing for quantum chemistry. In International Conference on Machine Learning (ICML), 2017.

概

很多图框架所遵循的框架, MPNN.

符号说明

• \(G\), 图;
• \(v\), node;
• \(e\), edge;
• \(x_v\), node features;
• \(e_{vw}\), edge features;
• \(N(v)\), 结点 \(v\) 的邻居;

框架

作者认为大部分的 GNN 都可以用分为两个部分:

• message passing phase:

  \[m_v^{t+1} = \Phi (\{M_t(h_v^t, h_w^t, e_{vw}): w \in N(v)\}) \\ h_v^{t+1} = U_t(h_v^t, m_{v}^{t+1}), \]

  其中 \(M_t\) 表示 message function, 它起到将源结点 \(h_v^t\) 和目标结点 \(h_w^t, w \in N(v)\), 以及它们的边的特征 \(e_{vw}\) 融合的作用. \(\Phi\) 是一个 permutation-invariant 函数 (比如: sum, mean, max), 将这一批特征融合为中间变量 \(m_v^{t+1}\), 然后 update functions \(U_t\) 基于 \(h_v^t, m_v^{t+1}\) 更新 \(v\) 的状态为 \(h_v^{t+1}\).

• readout phase:

  \[\hat{y} = R(\{h_v^T| v \in G\}) \]

  将所有的结点的特征进行一个聚合 (感觉这个只是用在 graph-level 的分类任务上吧).

注: \(M_t, U_t, R\) 都是可训练的模块.