作者：沈雯婷

GraphLearn是阿里云机器学习平台PAI 团队和达摩院智能计算实验室图计算团队共建的工业界大规模图神经网络训练框架, 也是一站式图计算平台GraphScope的图学习引擎。GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)。DGS具备处理实时高吞吐图更新的能力，并能保证低时延、高并发的推理采样查询处理。其图更新和采样查询的性能在分布式环境下线性可扩展。近期，GraphLearn团队和浙大联合发表的《Dynamic Graph Sampling Service for Real-time GNN Inference at Scale》被评选为EuroSys2023 best poster。

Poster地址：https://2023.eurosys.org/docs/posters/eurosys23posters-final40.pdf
开源项目地址: GraphLearn, GraphScope

背景介绍

GNN模型通过图结构表征高阶邻域信息，在大规模工业落地中，一种常用的训练方式是通过邻域采样的方式来降低通信和计算的开销，从而获得分布式的扩展性。与此同时，在推荐、金融反欺诈等真实业务场景中，图的结构和属性往往会随着时间动态变化，GNN模型需要能实时采样并表征这些邻域的动态信息。

由于在线学习容易造成模型的抖动，在实际生产应用中，模型的部署也通常需要经过复杂的生产链路，因此一般采用近线模型进行部署，为了让GNN模型能够实时表征邻域信息，在GNN模型的推理过程中，需要通过实时的采样图结构和属性来进行实时推理。

为保证用户体验，这种实时推理的任务具有极低时延的需求，留给采样查询的时延空间非常小。同时，由于工业大图的数据规模和在线推理服务的QPS往往超出单机的存储和计算能力。因此，我们需要提供一个在大规模的动态图上保障极低时延的面向GNN模型推理的实时采样服务（P99在20毫秒以内），并具备在分布式环境下线性扩展的能力。

挑战

实时图采样服务的直观做法是维护一个动态图的存储和查询模块，在推理请求到达时对请求的点进行邻居采样计算和属性收集，采样计算得到的样本作为模型服务的输入进行推理。但是图数据的分布和推理采样的负载特性，导致这种直观的做法难以在分布式的动态图上实现稳定的低延时采样，具体地，存在以下挑战：

1. 邻居采样需要遍历所有的邻居，并且随着图的动态变化，邻居不断变化，难以保证复杂的采样计算的低时延，超点的存在也造成了时延的不稳定。
2. 由于图数据分布存在不均衡的特点，各个图分片上的存储和计算负载分布不均，造成采样延时的不稳定，也为分布式下线性扩展带