Alibaba Innovative Research (AIR) > Machine Learning (algorithm)
AutoGraph++: 图神经网络结构搜索加速方法

业务背景

商家赋能、电商反作弊等都依赖于图数据分析能力,近年来越来越基于图数据的深度学习模型被提出来解决图数据上的预测和异常检测等问题。借助于传统的卷积网络的多尺度局部空间特征学习的思路,图神经网络模型(GNNs)最近被提出来学习具有强表达能力的图特征。此外,随着将循环网络和深度自动编码器的思想引进图神经网络,越来越多的图卷积网络、 图注意力网络、图自编码器、图生成网络和图时空网络等模型被提出来。当前有很多经验学习表明了各种图神经网络在图数据处理上的优异表现,但是这些模型都都依赖于手工调整网络结构的参数,耗费大量人力并且降低了模型开发效率。因此,我们想回答一个挑战性的问题:给定一个图数据样本集,如何设计算法来寻找最优的图神经网络结构?实际上,自动机器学习(AutoML)被广泛应用在神经网络结构的搜索上,比如近期Google研究人员提出的Neural Architecture Search(NAS)算法,可以不经过人工干预,自动生成一个对当前任务最有效的CNN网络结构,NAS算法的原理是给定一个候选神经网络结构集合(搜索空间),用某种策略从中搜索出最优网络结构。在搜索过程的每次迭代中,从搜索空间产生“样本”即得到一个神经网络结构,称为“子网络”,算法在训练样本集上训练子网络,然后在验证集上评估其性能,循环迭代逐步优化网络结构,直至找到最优的子网络。其中,AutoML的搜索策略定义了如何找到最优的网络结构,其本质上是超参数优化问题,典型的搜索策略包括强化学习,遗传学习,基于梯度的优化算法等。基于强化学习的AutoML搜索策略广泛被采用,比如Google提出的NAS算法就将神经网络结构设计看作一个强化学习问题。

拟解决问题

当前的神经网络结构搜索算法大都作用于CNN卷积网络,搜索空间和搜索策略都定义在CNN空间,基于图神经网络GNN来设计AutoML算法的研究还不充分,这需要解决以下新的挑战:

1) 如何设计图神经网络的搜索空间?传统的CNN搜索空间并不适用于非结构化的图数据。从网络的拓扑结构来看,网络有多少个层,这些层的连接关系怎样?从简单的图结构到任意的计算图DAG,反映了整个神经网络结构的发展历程。最简单的神经网络是线性链式结构,其对应的图的每个节点最多只有一个前驱,一个后续,类似于数据结构中的链表。早期的全连接神经网络,卷积神经网络都是这种拓扑结构。后来,Inception、ResNet、DenseNet中的节点允许有多个前驱,多个后续,从而形成了多分支、跨层连接结构。并且,为了提高搜索效率,有时候会搜索空间进行限定或简化,实现中会把网络切分成基本单元(cell或block),通过这些单元的堆叠形成更复杂的网络,它们是更复杂的图。如何把这些更复杂的搜索空间映射到图神经网络搜索空间是一个挑战。

2)如何设计高效的增强学习搜索算法?随着网络规模的不断扩大,高效的增强学习算法越来越重要。一种解决方案是在生成网络结构描述之后,训练子网络和控制器网络的方法与NAS相同,但策略梯度算法采用PPO算法(Proximal Policy Optimization)。此外,一种称为ENAS的算法,通过在各个网络之间共享权重来减少计算量,由于各个子网络共享权重,因此每个子网络不需要从头开始训练,这极大的提高了搜索速度。怎么在图神经网络上采用参数共享,实现更高效的增强学习搜索算法,也是一个挑战。

3)怎么在监督、半监督和非监督图学习场景中评估搜索算法的性能? 搜索策略的目标是找到一个图神经网络结构,最大化某种性能度量指标。这个性能指标可能涉及监督、半监督甚至非监督问题,为了指导搜索过程,算法需要估计一个给定神经网络结构的性能。

4)如何加快训练图神经网络子模型?搜索过程的每次迭代会产生一个“样本”,也就是一个图神经网络的子模型,算法评估大量的子模型做优化迭代,如何利用分布式计算、GPU等工具加快训练和评估子网络结构也是一个难题。

 

期望交付物

1)发表CCF-A论文3篇,研究AutoGraph++的性能提升、理论创新和应用落地;

2)提供1套解决方案,AutoGraph++提升图神经网络在相关场景应用中3%以上的AUC表现;

3)申请专利3项以上,覆盖高价值商家挖掘,商家诊断,用户偏好预估,卖家反作弊等关键场景。

Scan QR code
关注Ali TechnologyWechat Account