当前位置:南东门户网站 > 科技 > 开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小

开源图神经网络框架DGL升级:GCMC训练时间从1天缩到1小

时间:2019-11-05 19:30:50 来源:南东门户网站

做明编辑整理

量子位报告

另一个人工智能框架已经升级。

这一次,纽约大学和亚马逊联合推出了图形神经网络框架dgl。

不仅对异构图的支持全面启动,相关异构图神经网络的代码也被复制和开放,在gcmc和rcgn等业界知名模型的实现中取得了较好的效果。

还发布了用于训练知识图嵌入的专用包dgl-ke,提高了许多经典图嵌入模型的性能。

目前,在2018年神经网络和图形机器学习会议上发布的框架已经赢得了3000颗星,并且已经成为图形神经网络和图形机器学习领域中更受关注的工具。

异质图:神经网络的新方向

异构图是对应于相同组成的新概念。

传统同构图形数据中只有一种节点和边,因此在构造图形神经网络时,所有节点共享相同的模型参数,具有相同的维数特征空间。

然而,异构图可以具有不止一种节点和边,从而允许不同类型的节点具有不同维度的特征或属性。

这一特性使得异构图得到了广泛的应用。如果我们用图形来描述我们和周围事物之间的关系,我们会发现生成的图形自然是异质的,例如:

我今天看了电影《漫游地球》,作为观众的《我》和电影《漫游地球》之间的关系已经建立。

异构图可以用来描述这组交互。该图分为“观众”和“电影”节点,以及“观看”边缘。

作为观众,我必须有不同于电影的属性,并且需要用不同的模型或不同的特征维度来表达。

因此,这幅画自然具有异质性。此外,与传统方法相比,基于异构图训练的神经网络在某些场景下也能取得更好的效果和性能。

现已应用于知识地图、推荐系统、恶意账户识别等领域和任务。

两个有代表性的模型是用于节点分类和链接预测的rgcn和用于产品推荐的gcmc。

但是如何设计一个“又快又好”的深层神经网络呢?

这是纽约大学和亚马逊联合推出图形神经网络框架dgl的起点。

新型dgl:异构图神经网络的利器

这个更新发布了DGL版本0.4,使得整个框架更加实用。

不仅对异构图的支持完全在线,而且相关异构图神经网络的代码也被复制和开放:

△dgl 0.4中基于异构图的△ rgcn层实现代码

官员们表示,在这种新版dgl上实施业界著名的异构图神经网络也有更好的性能:

GCMC:与原作者的实现相比,DGL在电影100k上有5倍的加速度,在电影1m上有22倍的加速度。Dgl的内存优化支持在gpu上训练movielens-10m(最初的实现需要从cpu动态加载数据),从而将最初需要24小时的训练时间缩短到1小时以上。

Rgcn:用一个新的异构图形接口再次实现rgcn。新的实现大大降低了内存开销。am数据集(边数> 5m)的最初实现只能在cpu上计算,因为内存开销太大,而dgl可以被gpu加速,速度提高了291倍。

韩:它提供了一个灵活的接口,通过元路径将异构图转换成相同的组合。

元路径2 EC:新的元路径采样实现比原始作者的实现快两倍。

此外,dgl还发布了分子化学的dgl-chem模型库和知识图嵌入的dgl-ke软件包。Dgl-chem提供包括分子性质预测和分子结构生成在内的预培训模型。

在单个gpu上,dgl-ke可以使用经典的transe模型在7分钟内训练fb15k图形嵌入。与graphvite(v0.1.0)相比,在4个GPU上需要14分钟。

第一版dgl-ke发布了transe、complex和distmult模型,支持cpu训练、gpu训练、cpu和gpu混合训练和单机多进程训练。

dgl团队表示,未来将发布更多的模型和培训方法。

入口

Dgl异构图教程:

https://docs.dgl.ai/tutorials/hetero/1_basics.html

Dgl v0.4更新说明:

https://github.com/dmlc/dgl/releases

Dgl-ke代码和说明:

https://github.com/dmlc/dgl/tree/master/apps/kg

Dgl-chem模型库:

https://docs.dgl.ai/api/python/model_zoo.html#chemistry

-完毕-

真诚的招聘

量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

量子位qbitai

跟踪人工智能技术和产品的新发展

新闻
缴获非法成品油约13吨!长洲警方成功捣毁一非法经营成品油窝点
缴获非法成品油约13吨!长洲警方成功捣毁一非法经营成品油窝点

广西日报记者梁乾胜 通讯员 霍冠丰 韦伟 报道:近日,梧州市局食药侦支队、特巡警支队等部门的指导协助下,长洲公安分局在龙圩区某餐饮店停车场内成功捣毁一非法经营成品油窝点,抓获犯罪嫌疑人5名,缴获非法成

振华科技9月24日盘中涨停
振华科技9月24日盘中涨停

9月24日,华培动力延续上一交易日强势继续封涨停。截至发稿,涨10.02%报35.92元,成交11.85亿元,换手率68.94%,振幅19.85%。资金面上,华培动力近5日主力资金净流入8.08亿元,

瑜老板的瑜音阁古戏楼开张啦
瑜老板的瑜音阁古戏楼开张啦

由著名京剧演员王珮瑜创办的瑜音社独立运营古戏楼——瑜音阁,今天在宝山龙现代艺术馆正式开张。瑜音阁古戏楼拥有300年历史,现坐落于宝山区顾村镇。在今天举行的瑜音阁开幕仪式上,王珮瑜以个人名义向上海市振兴

雷军硬刚华为:我们最贵的手机价格 都不到友商的起步价
雷军硬刚华为:我们最贵的手机价格 都不到友商的起步价

中国经济周刊-经济网讯 9月24日,在小米发布会上,雷军说,友商在发布会上说我们无线充电是虚标,欢迎友商来测试;无线反向快充比华为快一倍,看我们怎么把友商按在地上摩擦;最重要的是,5g刚开始而很多人没

《沉睡魔咒2》定档10.18!这一次,别再相信童话
《沉睡魔咒2》定档10.18!这一次,别再相信童话

迪士尼真人奇幻巨制《沉睡魔咒2》正式定档10月18日!颠覆童话 暗黑升级2014年上映的《沉睡魔咒》在全球掀起一股“玛琳菲森热潮”,口嫌体直、外冷内热的仙女教母颠覆了观众对童话《睡美人》中反派的印象,

迪士尼CEO伊格尔:从苹果董事会辞职是因为业务冲突
迪士尼CEO伊格尔:从苹果董事会辞职是因为业务冲突

据外媒报道,消息人士周二透露,电子烟制造商juul labs计划重组其员工队伍,将会缩减招聘力度并展开裁员。该公司目前约有3900名员工,是去年12月员工数量的两倍多。为了避免裁员,juul labs

迪丽热巴总算穿对一次LV,颜值回归的感觉,真好
迪丽热巴总算穿对一次LV,颜值回归的感觉,真好

留学的真相 出国必看 约澳洲奶奶聊天开心到模糊!当我走进她的生活 竟是这样的!

这是一张“每天生长的海报”,你的表白和祝福能让它越长越高
这是一张“每天生长的海报”,你的表白和祝福能让它越长越高

杭州,自此也开始与时代同奋进,和祖国共成长。70年来,杭州的变化,还有很多很多,而这些变化,在这座城市生活、创业的人,有着各自的故事和感悟。我们把这些天征集来的一些祝福制作成了一张“每天生长的海报”,

Copyright 2018-2019 ick09.com 南东门户网站 Inc. All Rights Reserved.