HGCN and HGAT
超图的卷积和注意力机制
在Hypergraph Introduction中鼠鼠介绍了超图的定义以及构造方式实际上是复述捏,接下来将会介绍在图神经网络中如何处理超图,主要纯粹介绍一下HGCN和HGAT。
在阅读该博客前,确保已经了解了GCN和GAT之前也有相应的博客,可以看一下捏。
HGCN
这个玩意儿实际上非常简单,让我们先回忆一下:
$$
H^{(l+1)} = \sigma(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})
$$
- 引入$L_{sym} = I - \tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}$作为聚合(AGG)部分
- 添加自环:$\tilde{A} = A + I_N$
- 计算归一化系数:$\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}$
- 特征变换:$H^{(l)}W^{(l)}$
- 邻域聚合:$\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)}$
- 非线性变换:$\sigma(\cdot)$
而超图也有对应的拉普拉斯矩阵
$$
\Delta=\mathbf{I}-\mathbf{D}_{v}^{-1/2}\mathbf{HWD}_{e}^{-1}\mathbf{H}^{T}\mathbf{D}_{v}^{-1/2}
$$
我们只需要把前半截一砍,换成超图的,就是HGCN了捏
$$
\mathbf X^{(l+1)} = \sigma(\mathbf{D}_{v}^{-1/2}\mathbf{HWD}_{e}^{-1}\mathbf{H}^{T}\mathbf{D}_{v}^{-1/2}\mathbf X^{(l)}\mathbf P^{(l)})
$$
为了避免命名的重复,我们用 $\mathbf X^{(\cdot)}$ 和 $\mathbf P^{(\cdot)}$ 代替GCN中的 $H^{(\cdot)}$ 和 $W^{(\cdot)}$
HGAT
感觉和GAT没区别捏
📚 𝒥𝑒𝒻𝑒𝓇𝑒𝓃𝒸𝑒
📄 Bai 等 - 2021 - Hypergraph convolution and hypergraph attention