超图的卷积和注意力机制

在Hypergraph Introduction中鼠鼠介绍了超图的定义以及构造方式实际上是复述捏，接下来将会介绍在图神经网络中如何处理超图，主要纯粹介绍一下HGCN和HGAT。

在阅读该博客前，确保已经了解了GCN和GAT之前也有相应的博客，可以看一下捏。

不知道写什么，先放个这个捏

超图的定义以及构造方式

随着CDR预测的精度越来越高，越来越多的人意识到全局信息的提取将会起到非常重要的作用没活硬整了捏。引入超图也就限得十分自然了。也正因如此，我们需要像了解图一样了解超图。

这篇博客主要讨论了超图的定义和构造超图的方式，接下来应该会有专门的一篇博客介绍HGCN和HGAT

Graph Transformer

Graph Transformer 是传统Transformer架构在图数据上的泛化，旨在处理任意结构的图数据（如社交网络、分子结构等）。其既保留了Transformer的强表示能力，又继承了GNN对图结构的归纳偏置，成为图表示学习领域的重要基线模型。

GAT（Graph Attention Networks）

图神经网络（GNNs）旨在为下游任务学习在低维空间中训练良好的表示，同时保留拓扑结构。近年来，注意力机制在自然语言处理和计算机视觉领域表现出色，被引入到GNNs中，以自适应地选择判别特征并自动过滤噪声信息。本博客将重点介绍GAT

在查询上做文章的 Attention

查询是任何注意力模型的重要组成部分，因为它们直接决定了从特征向量中提取哪些信息。这些查询基于任务模型的期望输出，并可以解释为字面问题。一些查询具有特定的特征，需要特定类型的机制来处理它们。因此，这一类别封装了处理特定类型查询特征的注意力机制。这一类别的机制处理以下两种查询特征之一：查询的类型或查询的多重性。

在阅读这篇博客前请先阅读 Attention Overview

具有一般性的 Attention

详细讨论了可以应用于任何类型注意力模型的基础机制，这些机制不依赖于特定的特征模型或查询模型。这一部分构成了注意力模型的核心计算框架，主要包括三个关键子方面：注意力评分函数(Attention Scoring)、注意力对齐(Attention Alignment)和注意力维度(Attention Dimensionality)。

在阅读这篇博客前请先阅读 Attention Overview

在输入特征上做文章的 Attention

本文将接着详细说明一种基于输入特征分类 Attention 的方式，并介绍在这种分类方式下关注到的不同的 Attention 的架构。

具体来说，本文主要探讨了基于输入特征特性的注意力机制变体。本节根据输入特征的不同特性，将特征相关的注意力机制分为三类：特征多重性(Multiplicity of Features)、特征层级(Levels of Features)和特征表示(Feature Representations)。

在阅读这篇博客前请先阅读 Attention Overview

先放在这里，懒得喷，以下是鼠鼠和室友在争论某问题时问的AI

Is Attention All My Need ?

注意力机制在图神经网络中扮演着越来越重要的角色。但鼠鼠现在连正常的 Attention 有哪些都不清楚捏本文鼠鼠将从一般的 Attention 出发，给出 Attention 的总体结构，然后按分类介绍现有的主要的 Attention

本文主要来自于一篇论文，基本可以看作那篇论文的阅读笔记