GreenKGC: A Lightweight Knowledge Graph Completion Method(论文笔记)
CCF等级:A
发布时间:2023年7月
代码位置
25年3月17日交
目录
一、简介
二、原理
1.整体
2.表示学习
3.特征修剪
4.决策学习
三、实验性能
1.主要结果
2.消融实验
四、结论和未来工作
一、简介
传统知识图谱补全方法中,嵌入维度的选择很关键,维度过低会导致高误差,而过高则易过拟合且计算成本大。GreenKGC通过降低维度来解决这些问题。它首先获得实体和关系的高维表示,然后通过计算保留最关键维度,减少过拟合并降低计算复杂度。这样,GreenKGC在低维度下也能保持良好性能,同时显著减小模型大小。
二、原理
1.整体
GreenKGC由三个模块组成:表示学习、特征修剪、决策学习。
首先使用现有的知识图谱嵌入方法获取实体和关系的高维表示。然后,在特征剪枝阶段,通过一种称为判别特征测试(DFT)的方法来评估每个维度的重要性。具体来说,通过每一个三元组(h,r,t),计算各维度对区分正样本和负样本的能力。
在这个过程中,对每一个三元组,通过线性变换将头实体h、关系r、尾实体t 的各维度组合成一个单一变量,并基于这些变换后的特征计算其对正负样本的判别能力(通过交叉熵)。根据计算出的权重(即判别能力),保留那些具有较高权重的维度,从而形成低维并且具有区分性的特征能力。这种方法有助于减少不必要的参数,提高模型效率,同时保持甚至提升性能。
2.表示学习
可以使用现有的模型例如TransE、RotatE等,这一块不是文章重点考虑的对象。
3.特征修剪
考虑到知识图谱中的关系不可能是完全无关的,因此首先将他们划分为不相交的关系组,魅族关系具有相似的属性,方便后续对每个关系组内进行特征修剪。文章使用k-Means对嵌入关系进行聚类。
使用不同的分类数k,会呈现不同的效果。交叉熵越小证明有效地识别正样本和负样本。
(文章中这一部分是在DFT以后写的,但在程序上是先进行特征分区再DFT,因此这块提前写。)
DFT可用于降低实体和关系嵌入的维数,同时保留它们在下游任务中的能力。
文章将DFT扩展到多个维度,通过SVD(奇异值分解,简单来说就是将一个矩阵分解为三个矩阵的的乘积)和PCA(主成分分析,简单来说就是确定权重以及找到权重大的维度)学习每个维度的线性变换。
但是由于PCA的线性变换是无监督的,难以将正负三元组区分开(后面需要使用)。因此使用最小化二元交叉熵损失的逻辑回归来实现。整体相当于DFT=SVD+PCA+最小化二元交叉熵。
将正三元组取y=1,负三元组取y=0。以此计算每个维度。DFT采用交叉熵(CE)评估每个维度的判别能力。因为CE是二值分类的损失函数,CE越低的维度意味着判别能力越强。因此保留最低CE的特征维度,并对剩余的特征进行修剪以获取低维特征。
4.决策学习
文章采用二元分类器作为解码器,性能比评分函数更强大,输入三元组的特征,输出三元组正确概率(0到1)。文章使用负样本进行训练非线性的二元分类器。将每一个特征带入公式计算得出一个二元分类器。y= 1是正样本,y=0是负样本。
文章考虑两种负抽样。一种基于本体的负抽样,一种基于嵌入的负抽样。文章通过实验选择基于嵌入的负抽样。
三、实验性能
1.主要结果
表3证明以前的模型再加上GreenKGC后都有了大的性能提升。比另外几种模型性能高。
图四表示加入GreenKGC的模型在较低维度时就具有较高的正确率。
GreenKGC可以在模型尺寸缩小约5倍的情况下获得具有竞争力甚至更好的性能。在有限资源下
将GreenKGC应用于大规模KGs的性能优势。
2.消融实验
实验了不进行特征剪枝、随机剪枝、基于方差的剪枝、基于特征重要性的剪枝、基于交叉熵的剪枝。数据如下。
四、结论和未来工作
1.增强特征剪枝的灵活性
2.改进负抽样策略
3.与其他模型的融合(如GNN)