图表示学习,将节点从高维表示空间映射到低维向量空间,得到表示向量,作用于后续的分类、预测等任务。 然而在真实场景中,图是动态变化的(或者说流式存在的),因此研究动态图的表示学习是很有必要的,也是近些年的一个热门研究问题。
从动机来说可以分成两类:
捕获图演变规律:学习图结构、图特征的动态演变规律图模型高效更新:类似在线学习,图动态变化的过程中得到实时的表示向量从模型架构来说可以分成两类:
SkipGram模型GNN模型捕获图演变规律1-4为SkipGram模型,其余为GNN模型。
1. Dynamic Network Embedding by Modeling Triadic Closure Process(AAAI 2018)基于三角闭包,通过建模开三角形成闭三角的过程,来刻画演变规律
2. Embedding Temporal Network via Neighborhood Formation(KDD 2018)基于点过程(Hawkes process),一条边的生成概率由一个基本概率和其他边的影响组成
3. Learning Dynamic Embeddings from Temporal Interaction Networks基于RNN,jure的没发表的论文,所以没怎么看4. Node Embedding over Temporal Graphs (IJCAI 2019)基于RNN,考虑了时间片之间的旋转问题
5. EPNE: Evolutionary Pattern Preserving Network Embedding(ECAI 2020)基于因果卷积刻画图演变的周期性和非周期性信息
6. Learning Dynamic Context Graphs for Predicting Social Events(KDD 2019)任务场景:预测social events结构上,每个时间片训练一个gcn模型时间上,利用一个temporal encoder,捕获上一时刻的信息
7. Recurrent Space-time Graph Neural Networks (NIPS 2019)在gnn聚合的过程中融入了上一时刻的信息,引入gate机制9. Temporal Network Embedding with Micro- and Macro-dynamics(CIKM 2019)从微观(formation process)和宏观(evolution process)两个角度基于点过程建模10. Graph WaveNet for Deep Spatial-Temporal Graph Modeling(IJCAI 2019)任务场景:交通时间上,Gated TCN建模节点输入特征的变化空间上,GCN建模空间信息
11. Dynamic Graph Representation Learning Via Self-Attention Networks(ICLR 2019 Workshop)结构上,利用GAT时间上,所有时间片上得到的表示向量再通过self-attention
12. EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs(AAAI 2020)利用RNN建模每个时间片上GCN模型的参数,适用于更强
13. Streaming Graph Neural Networks(SIGIR 2020)update component:先更新新来边的两个顶点propogation component:再更新相连的其他顶点借鉴LSTM,引入cell和state保持节点的时序信息,考虑时间间隔
14. Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting(IJCAI 2018)空间上:谱域卷积,以避免cnn只捕获网格信息时间上:卷积,以避免RNN的训练复杂度并捕获长时信息
图模型高效更新1-3为SkipGram模型,其余为GNN模型
1. Dynamic Network Embedding: An Extended Approach for Skip-gram based Network Embedding(IJCAI 2018)受影响节点的选择:估计表示向量(最优解)的变化情况更新方式:对于受影响节点,重新用Skip-Gram模型训练2. Attributed Network Embedding for Learning in a Dynamic Environment(CIKM 2017)offline model:基于谱方法,根据拓扑结构和节点属性得到表示向量online model:对表示向量进行在线更新
3. Real-Time Streaming Graph Embedding Through Local Actions(WWW 2019 Companion)受影响节点的选择:Weighted Independent Cascade Model更新方式:对于受影响节点,根据规则更新(证明近似方法的解和最优解之间的距离)
4. Streaming Graph Neural Networks via Continual Learning(CIKM 2020)检测并学习图中的新模式,考虑到图数据的关联性保持并巩固已有模式,基于连续学习方法,避免灾难性遗忘5. Disentangle-based Continual Graph Representation Learning(EMNLP 2020)基于解耦的思想:节点的表示是由多个独立的部分组成的,每个部分表达一种语义信息更新时只更新相似语义的邻居
6. Continual Graph learningExperience Replay GNN,三种experience selection strategyMean of Feature (MF):计算每一类的均值(prototype),并找最接近均值的e个点Coverage Maximization (CM):找到向量空间的最大覆盖集Influence Maximization (MI):去掉一个节点后最优解的变化情况,近似算法
7. Lifelong Graph Learningfeature graph:把关联的节点变成独立的图基于连续学习的replay-based方法