Sonic Aged's Blog

A blog about Shit and more Shit

具有一般性的 Attention

详细讨论了可以应用于任何类型注意力模型的基础机制,这些机制不依赖于特定的特征模型或查询模型。这一部分构成了注意力模型的核心计算框架,主要包括三个关键子方面:注意力评分函数(Attention Scoring)、注意力对齐(Attention Alignment)和注意力维度(Attention Dimensionality)。

在阅读这篇博客前请先阅读 Attention Overview

Read more »

在输入特征上做文章的 Attention

本文将接着详细说明一种基于输入特征分类 Attention 的方式,并介绍在这种分类方式下关注到的不同的 Attention 的架构。

具体来说,本文主要探讨了基于输入特征特性的注意力机制变体。本节根据输入特征的不同特性,将特征相关的注意力机制分为三类:特征多重性(Multiplicity of Features)、特征层级(Levels of Features)和特征表示(Feature Representations)。

在阅读这篇博客前请先阅读 Attention Overview

Read more »

先放在这里,懒得喷,以下是鼠鼠和室友在争论某问题时问的AI

Read more »

Is Attention All My Need ?

注意力机制在图神经网络中扮演着越来越重要的角色。但鼠鼠现在连正常的 Attention 有哪些都不清楚捏本文鼠鼠将从一般的 Attention 出发,给出 Attention 的总体结构,然后按分类介绍现有的主要的 Attention

本文主要来自于一篇论文,基本可以看作那篇论文的阅读笔记

Read more »

GNN 与 GCN

图神经网络(Graph Neural Networks, GNN)和图卷积网络(Graph Convolutional Networks, GCN)是处理图数据的强大工具。本文将从理论到实践,全面介绍这两种重要的深度学习模型。

本文主要介绍了GNN 和 GCN 的大致原理GCN 在 PyG 和 PyTorch 的实现 以及它们在DRP 中的应用

Read more »

CDR 数据源分析

本文主要是介绍一下 深度学习药物反应预测 中运用到的数据源。但由于本人比较捞 本文主要从 深度学习 角度来看待这些数据源,对其在医学方面的意义(主要是鼠鼠也不会捏)不会有太多的描述

Read more »

Style Guide for Python Code

PEP8 是 Python 社群共通的風格指南,一開始是 Python 之父 Guido van Rossum 自己的撰碼風格,慢慢後來演變至今,目的在於幫助開發者寫出可讀性高且風格一致的程式。許多開源計畫,例如 Django 、 OpenStack 等都是以 PEP8 為基礎再加上自己的風格建議。

这篇博客主要是为了在搭建自己的模型之前学习一下一些统一的规范是做的记录 主要是目前读到的大多数论文的源码目命名没有规律 ,以加强之后搭建模型时代码的可读性

另外,本博客只展示本人不太熟悉的捏

Read more »
0%