Gugugu Neralashun
具有一般性的 Attention
详细讨论了可以应用于任何类型注意力模型的基础机制,这些机制不依赖于特定的特征模型或查询模型。这一部分构成了注意力模型的核心计算框架,主要包括三个关键子方面:注意力评分函数(Attention Scoring)、注意力对齐(Attention Alignment)和注意力维度(Attention Dimensionality)。
在阅读这篇博客前请先阅读 Attention Overview
详细讨论了可以应用于任何类型注意力模型的基础机制,这些机制不依赖于特定的特征模型或查询模型。这一部分构成了注意力模型的核心计算框架,主要包括三个关键子方面:注意力评分函数(Attention Scoring)、注意力对齐(Attention Alignment)和注意力维度(Attention Dimensionality)。
在阅读这篇博客前请先阅读 Attention Overview
本文将接着详细说明一种基于输入特征分类 Attention 的方式,并介绍在这种分类方式下关注到的不同的 Attention 的架构。
具体来说,本文主要探讨了基于输入特征特性的注意力机制变体。本节根据输入特征的不同特性,将特征相关的注意力机制分为三类:特征多重性(Multiplicity of Features)、特征层级(Levels of Features)和特征表示(Feature Representations)。
在阅读这篇博客前请先阅读 Attention Overview
注意力机制在图神经网络中扮演着越来越重要的角色。
但鼠鼠现在连正常的 Attention 有哪些都不清楚捏本文鼠鼠将从一般的 Attention 出发,给出 Attention 的总体结构,然后按分类介绍现有的主要的 Attention
本文主要来自于一篇论文,基本可以看作那篇论文的阅读笔记