2023年的CDR模型

想看2020到2022的可以前往CDR models From 2020 To 2022

本文将介绍的是2023年的CDR模型，总的来说23年的模型在之前的基础上变得更复杂了，但感觉和鼠鼠想要的创新还有一些小距离捏（主要是一连看到好多篇拼好模捏）

2020到2022年的CDR模型

本博客将简单分析从2020年到2022年的CDR论文中所有的图神经相关的模型架构，使用数据，模型和实验亮点。由于篇幅有限（主要是鼠鼠懒捏），所有的模型都不会有详细的说明。但鼠鼠都将原文贴在了最后，想下细了解的可以去看原文捏。

另外，鼠鼠已经在之前大致地看过一遍截止目前的相关文章，奈何因为一些SB事情，再加上没有留下任何的笔记（主要原因），所有已经忘得差不多了。这也是决定写一篇博客的原因

还有就是，这里的大致指的是：2023之后的全部和2022之前的顺眼的捏，所以这篇中的大多数模型是没看过的捏

超图的卷积和注意力机制

在Hypergraph Introduction中鼠鼠介绍了超图的定义以及构造方式实际上是复述捏，接下来将会介绍在图神经网络中如何处理超图，主要纯粹介绍一下HGCN和HGAT。

在阅读该博客前，确保已经了解了GCN和GAT之前也有相应的博客，可以看一下捏。

不知道写什么，先放个这个捏

超图的定义以及构造方式

随着CDR预测的精度越来越高，越来越多的人意识到全局信息的提取将会起到非常重要的作用没活硬整了捏。引入超图也就限得十分自然了。也正因如此，我们需要像了解图一样了解超图。

这篇博客主要讨论了超图的定义和构造超图的方式，接下来应该会有专门的一篇博客介绍HGCN和HGAT

Graph Transformer

Graph Transformer 是传统Transformer架构在图数据上的泛化，旨在处理任意结构的图数据（如社交网络、分子结构等）。其既保留了Transformer的强表示能力，又继承了GNN对图结构的归纳偏置，成为图表示学习领域的重要基线模型。

GAT（Graph Attention Networks）

图神经网络（GNNs）旨在为下游任务学习在低维空间中训练良好的表示，同时保留拓扑结构。近年来，注意力机制在自然语言处理和计算机视觉领域表现出色，被引入到GNNs中，以自适应地选择判别特征并自动过滤噪声信息。本博客将重点介绍GAT

在查询上做文章的 Attention

查询是任何注意力模型的重要组成部分，因为它们直接决定了从特征向量中提取哪些信息。这些查询基于任务模型的期望输出，并可以解释为字面问题。一些查询具有特定的特征，需要特定类型的机制来处理它们。因此，这一类别封装了处理特定类型查询特征的注意力机制。这一类别的机制处理以下两种查询特征之一：查询的类型或查询的多重性。

在阅读这篇博客前请先阅读 Attention Overview

具有一般性的 Attention

详细讨论了可以应用于任何类型注意力模型的基础机制，这些机制不依赖于特定的特征模型或查询模型。这一部分构成了注意力模型的核心计算框架，主要包括三个关键子方面：注意力评分函数(Attention Scoring)、注意力对齐(Attention Alignment)和注意力维度(Attention Dimensionality)。

在阅读这篇博客前请先阅读 Attention Overview

在输入特征上做文章的 Attention

本文将接着详细说明一种基于输入特征分类 Attention 的方式，并介绍在这种分类方式下关注到的不同的 Attention 的架构。

具体来说，本文主要探讨了基于输入特征特性的注意力机制变体。本节根据输入特征的不同特性，将特征相关的注意力机制分为三类：特征多重性(Multiplicity of Features)、特征层级(Levels of Features)和特征表示(Feature Representations)。

在阅读这篇博客前请先阅读 Attention Overview