微软工程师用PyTorch实现图注意力网络,可视化效果惊艳
机器之心报道
作者:陈萍、蛋酱
近日 , 一个关于图注意力网络可视化的项目吸引了大批研究人员的兴趣 , 上线仅仅一天 , 收获200+星 。 该项目是关于用PyTorch实现的图注意力网络(GAT) , 包括易于理解的可视化 。 
文章图片
项目地址:https://github.com/gordicaleksa/pytorch-GAT
在正式介绍项目之前 , 先提一下图神经网络(GNN) 。 GNN是一类基于深度学习的处理图域信息的方法 。 由于其较好的性能和可解释性 , GNN最近已成为一种广泛应用的图分析方法 。 现已广泛应用于计算生物学、计算药理学、推荐系统等 。
GNN把深度学习应用到图结构(Graph)中 , 其中的图卷积网络GCN可以在Graph上进行卷积操作 , 但是GCN存在一些缺陷 。 因此 , Bengio团队在三年前提出了图注意力网络(GAT , GraphAttentionNetwork) , 旨在解决GCN存在的问题 。
GAT是空间(卷积)GNN的代表 。 由于CNNs在计算机视觉领域取得了巨大的成功 , 研究人员决定将其推广到图形上 , 因此GAT应运而生 。
现在 , 有人用PyTorch实现了GAT可视化 。 我们来看看该项目是如何实现的 。 
文章图片
可视化
Cora可视化
说到GNN , 就不得不介绍一下Cora数据集 。 Cora数据集由许多机器学习论文组成 , 是近年来图深度学习很喜欢使用的数据集 。 Cora中的节点代表研究论文 , 链接是这些论文之间的引用 。 项目作者添加了一个用于可视化Cora和进行基本网络分析的实用程序 。 Cora如下图所示:
文章图片
节点大小对应于其等级(即进出边的数量) 。 边的粗细大致对应于边的「popular」或「连接」程度 。 以下是显示Cora上等级(进出边的数量)分布的图:
文章图片
进和出的等级图是一样的 , 因为处理的是无向图 。 在底部的图(等级分布)上 , 我们可以看到一个有趣的峰值发生在[2 , 4]范围内 。 这意味着多数节点有少量的边 , 但是有1个节点有169条边(绿色大节点) 。
注意力可视化
有了一个训练好的GAT模型以后 , 我们就可以将某些节点所学的注意力可视化 。 节点利用注意力来决定如何聚合周围的节点 , 如下图所示:
文章图片
这是Cora节点中边数最多的节点之一(引用) 。 颜色表示同一类的节点 。
熵直方图
另一种理解GAT没有在Cora上学习注意力模式(即它在学习常量注意力)的方法是 , 将节点邻域的注意力权重视为概率分布 , 计算熵 , 并在每个节点邻域积累信息 。
我们希望GAT的注意力分布有偏差 。 你可以看到橙色的直方图是理想均匀分布的样子 , 而浅蓝色的是学习后的分布 , 它们是完全一样的 。 
文章图片
分析Cora嵌入空间(t-SNE)
GAT的输出张量为shape=(2708 , 7) , 其中2708是Cora中的节点数 , 7是类数 。 用t-SNE把这些7维向量投影成2D , 得到:
文章图片
使用方法
方法1:JupyterNotebook
只需从Anaconda控制台运行JupyterNotebook , 它将在你的默认浏览器中打开session 。 打开TheAnnotatedGAT.ipynb即可开始 。
注意 , 如果你得到了DLLloadfailedwhileimportingwin32api:Thespecifiedmodulecouldnotbefound , 只需要pipuninstallpywin32 , 或者pipinstallpywin32、ondainstallpywin32 。
方法2:使用你选择的IDE
如果使用自己选择的IDE , 只需要将Python环境和设置部分连接起来 。
训练GAT
在Cora上训练GAT所需的一切都已经设置好了 , 运行时只需调用pythontraining_script.py
此外 , 你还可以:
添加--should_visualize-以可视化你的图形数据
在数据的测试部分添加--should_test-以评估GAT
添加--enable_tensorboard-开始保存度量标准(准确率、损失)
代码部分的注释很完善 , 因此你可以了解到训练本身是如何运行的 。
该脚本将:
将checkpoint*.pth模型转储到models/checkpoints/
将final*.pth模型转储到models/binaries/
将度量标准保存到中runs/ , 只需tensorboard--logdir=runs在Anaconda中运行即可将其可视化
定期将一些训练元数据写入控制台
通过tensorboard--logdir=runs在控制台中调用 , 并将http://localhost:6006/URL粘贴到浏览器中 , 可以在训练过程中将度量标准可视化:
- 答用户问:怎么用好飞天指标组选股?
- 美国 SEC 已批准微软 75 亿美元收购 B 社游戏公司
- 荒野乱斗:弗兰肯妙具的新用法!攻击的时候释放最好!
- 最新软装设计实用技巧,建议收藏
- 追小麦返青肥用每斤硝态氮跟得上每斤尿素效果吗?答案来了
- 尝鲜太阳谷 UI ,微软 Win10 商店 App 流畅设计获调整
- 这个春夏用一件衬衫,来凹造型,兼具时尚与实用
- 农村墙头上的丝瓜用途多,丝瓜除了吃,还能用来做啥?老农告诉你
- 人们常说的“鸡头米”是米吗?它是什么植物的果实?有什么作用?
- 微软Reunion将为Win10带来重大变化:统一Win32和UWP API
