悟空谈历史

知识图谱构建的一个核心挑战是如何在低资源条件下仍然有效地实现推理和构建。本文分别介绍了元学习、对抗学习和图神经网络在低资源条件下的知识图谱推理及补全中的三种实现方法。

知识图谱的低资源问题

知识图谱推理是指利用图谱中已经存在的关系或事实来推断新关系和获取新知识的计算过程，在知识图谱补全、图谱质量优化、增强问答与辅助语义理解等各项任务中发挥着重要作用[1]。当前在知识图谱上实现推理大致可以分为两类：基于符号逻辑（本体公理或符号规则）的方法和基于表示学习的方法。传统基于符号逻辑的方法的主要优点是具备可解释性，主要缺点是不易处理隐含的和不确定的知识；基于表示学习的方法的主要优点是推理效率高且能表征隐含知识，因而成为当前知识图谱推理的主流技术手段。

但在当前的大多数表示学习模型中，都会假设知识图谱中的实体或关系有充足的三元组实例来对向量表示进行训练。但在真实的知识图谱中，一方面有大量的实体或关系仅具有非常少的三元组，即少样本问题[2~5]；另外一方面，对于那些新加入的实体或关系甚至完全没有训练实例，即零样本问题[6]。我们称这类实体或关系为长尾知识(long-tail knowledge)，这类关系多被以往的研究所忽视。

比如图1中展示的，常见的知识图谱中大部分关系的样本都比较少，呈现出长尾分布。比起样本较多的关系，长尾关系的预测和抽取性能显著降低。图1（a）显示，在关系预测的推理任务中，图谱中频率较高的关系明显优于频率较低的关系；图1（b）显示，在关系抽取的补全任务中，预测精度随着关系的样本数目减少而大幅下降。

但是事实上，对于某一个实体或关系，其具有的三元组实例越少，其对知识图谱的推理或补全可能越有利用价值。本文将分别介绍元学习、对抗学习和图神经网络在低资源条件下的知识图谱推理及补全中的三种实现方法，包括：基于元关系学习(meta relational learning)的少样本知识图谱关系预测[2]，基于对抗关系学习(adversarial relational learning)的低资源知识图谱补全[3]和基于图神经网络与知识图谱嵌入的长尾关系抽取[4]。

基于元学习的少样本知识图谱推理

元学习(meta learning)又可称为学会学习(learning to learn)，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力[7,8]。元学习经常被用来解决低资源条件下的学习问题。本文将元学习的思想引入到知识图谱推理中，提出元关系学习的概念[2]，用来解决知识图谱中少样本关系预测的问题，即在仅观测到某个关系的少量三元组后，预测该关系的其他三元组。

我们把仅有少量三元组的关系称为少样本关系(few-shot relations)，也就是在仅知道K个关于关系r的三元组的情况下，给定头实体h和关系r，预测尾实体t，通常K非常小，例如1-shot、3-shots或5-shots。元关系学习框架MetaR融合元学习和知识图谱嵌入的方法，通过转移关系特定元信息(relation-specific meta information)提升在少样本情况下关系预测的性能。

图2以一个三样本关系预测(3-shot link prediction)例子说明了MetaR解决少样本关系预测的基本思路。其中最重要的思想在于使用在不同任务(across tasks)之间共享的关系学习器(relational learner)。在一个具体的任务中，从少量的关于某个关系的三元组中抽取出关系特定元信息，用于新关系的关系预测。

MetaR具体的模型实现如图3所示。其中的核心是关系特定元信息的学习，这包含两部分：关系元(relation meta，图中的R)是连接头实体和尾实体的关系的高阶表示；梯度元(gradient meta，图中的G)则为关系元的梯度。模型具体分为两个部分：关系元学习器(relation-meta learner)和嵌入表示学习器(embedding leaner)。

关系元学习器是根据支持集的头实体和尾实体的向量表示得到两个实体间的关联，也就是关系元；嵌入学习器计算在支持集和查询集中，送入的头尾实体二元组和计算出的关系元的真值类似于在做知识图谱嵌入时的得分函数，同时在支持集阶段通过该真值计算出的关系元的梯度作为梯度元从而更新关系元。详细的实验对比分析请参考文献[2]。

基于对抗迁移学习的低资源知识图谱补全

对抗迁移学习是指利用对抗生成网络模型实现迁移学习的方法[9]，其核心思想是通过对抗性学习过程提取领域不变性特征，从而减少源域(source domain)和目标域(target domain)之间的分布差异。通常源域训练资源丰富(high resource)，目标域训练资源缺乏或甚至没有标注数据(low resource)。

文献[3]提出了一种称为加权关系对抗网络(weighted Relation Adversarial Network，wRAN)的方法，来解决低资源条件下知识图谱关系预测和关系抽取问题。wRAN的基本思想是利用对抗过程，将从资源丰富的关系中学到的知识/特征，去适应不同但相关的低资源关系。wRAN框架重点考虑两个问题：(1)关系对抗网络(relation adversarial network)，学习通用的关系不变性特征，以此弄清不同关系背后的语言变化因素，并缩小相关关系之间的语言差异。关系对抗网络的模型架构如图4所示。(2)负迁移(negative transfer)，区别于标准的源域和目标域之间的标签空间完全相同且共享，wRAN考虑从多个源关系到一个或多个目标关系的适应，并且考虑了不同的关系可能对迁移产生不同的影响，离群的源关系在与目标关系做判别时可能导致负迁移。如图5所示，wRAN可以从三个源关系(place_of_death，place_of_birth，country)中学习通用的位置信息，然后将隐含的知识应用于目标关系(place_of_burial)以提高其预测性能，而“capital”关系则会导致负迁移。

具体地说，wRAN框架利用关系判别器区分来自不同关系的样本，并以此学习从源关系到目标关系易于迁移的关系不变性特征，主要包含三个模块：

1.实例编码器(instance encoder) 学习可转移的特征，这些特征可以弄清关系之间的语言变化因素。

2.对抗性关系适应(adversarial relation adaptation) 寻找可以区分具有不同关系分布的关系判别器。

3.加权关系适应(weighed relation adaptation) 可以识别无关的源关系并自动降低其重要性，以解决负迁移问题并鼓励正迁移。从关系间相关性和实例迁移能力两个角度评估每个源关系/样本对目标关系的重要性，并提出关系门控机制，学习和控制细粒度的关系/样本权重。

该方法通过低资源条件下关系预测和关系抽取两种任务评估wRAN的性能。两类任务共享相同的对抗性学习框架，但具有不同类型的实例编码器。前者对一个关系的三元组编码，而后者学习句子特征。详细的实验对比分析请参考文献[3]。

基于图神经网络的长尾关系抽取

在目前广泛使用的关系抽取数据集NYT中，近70％的关系是长尾的。因为可用的训练样例有限，所以处理长尾关系是非常困难的。其中一种方法是将知识从数据丰富且语义相似的头部关系迁移到数据贫乏的长尾关系。一个实体三元组的长尾关系可能与头部关系具有层次关系，可以利用这种关系来缩小潜在的搜索空间以增强关系抽取的性能，并在预测未知关系时减少关系之间的不确定性。比如图6中给出的例子：如果一对实体包含

/people/deceasedperson/place of death关系，则很可能包含

本文提出了一种利用图卷积网络(Graph Convolution Network，GCN)和知识图谱嵌入来实现长尾关系抽取的方法。该方法主要考虑两个问题：(1)学习关系知识：语义相似的类可能包含更多的关系信息，这将促进传递，而不相关的类（例如

模型的整体架构如图7所示。为了解决学习关系知识

的问题，本文使用类嵌入表示关系类，并利用知识图谱和图卷积网络分别提取隐性和显性的关系知识。在潜在空间中，相似关系的嵌入距离较近。例如/people/person/placelive和

为了解决利用关系知识的问题，本文首先使用卷积神经网络得到句子的表示，然后引入“粗略到精细”的知识感知的注意力机制，将关联知识与句子表示结合到包表示向量中。关系知识不仅为关系预测提供了更多信息，而且为注意力模块提供了更好的参考信息，以提高长尾关系抽取的性能。详细的实验对比分析请参考文献[4]。

总结

知识图谱推理是知识图谱的一个重要研究方向，在真实应用场景（如电商、金融、医疗等知识图谱的构建）中，低资源的问题非常常见。因此，如何在低资源的情况下进行知识图谱的推理和补全是当前讨论较多的方向之一。利用元关系学习进行少样本知识图谱推理、基于对抗学习进行低资源知识图谱补全、利用图神经网络来实现关系之间的知识迁移，都是相对新颖和比较有效的解决方法。知识迁移本质上是要充分挖掘知识之间的潜在关联关系。这种关联关系也可能是一种逻辑关系，例如，关系之间的关系可以利用规则来描述并利用推理来实现迁移。因此，如何结合规则推理来解决低资源问题是值得进一步探索的方向。此外，利用生成模型直接为低资源类生成样本特征，从而在一个框架下同时解决少样本、零样本和长尾等低资源问题，也是值得进一步尝试的方法。

参考文献

[1] Wang Q, Mao Z, Wang B, et al. Knowledge graph embedding: A survey of approaches and applications[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(12): 2724-2743.

[2] Chen M, Zhang W, Zhang W, et al. Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs[C]// EMNLP-IJCNLP. 2019: 4208-4217.

[3] Zhang N, Deng S, Sun Z, et al. Relation Adversarial Network for Low Resource Knowledge Graph Completion[C]// Proceedings of The Web Conference 2020. 2020: 1-12.

[4] Zhang N, Deng S, Sun Z, et al. Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019: 3016-3025.

[5] Xiong W, Yu M, Chang S, et al. One-Shot Relational Learning for Knowledge Graphs[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2018: 1980-1990.

[6] Qin P, Wang X, Chen W, et al. Generative adversarial zero-shot relational learning for knowledge graphs[C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(5): 8673-8680.

[7] Munkhdalai T, Yu H. Meta networks[J]. Proceedings of machine learning research, 2017, 70: 2554.

[8] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. 2017: 1126-1135.

[9] Zhang J, Ding Z, Li W, et al. Importance weighted adversarial nets for partial domain adaptation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8156-8164.

特别声明：中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权，未经CCF允许，不得转载本刊文字及照片，否则被视为侵权。对于侵权行为，CCF将追究其法律责任

其他作者：张文、邓淑敏