MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全

Zengxiao Chen, Hui Zhao, Di Ying


Abstract
"多模态知识图补全(MMKGC)通过融合实体间的结构化语义信息与多模态特征,从给定的多模态知识图谱(MMKG)中发现未观察到的潜在事实。然而,现有方法普遍忽略了实体表示过程中不同模态的交互,同时缺乏对补全过程中模态之间互补性的关注。为了解决这些不足,我们提出了一种新的模型MIDF(模态交互和决策融合)来处理多模态的交互和互补。该模型首先设计了一个实体多模态交互融合模块,将实体的图像和文本特征提前交互后,再与结构特征进行融合,充分学习实体的嵌入。为了在补全过程中进一步利用不同模态之间的互补性,我们设计了关系引导的决策融合模块。通过使用不同模态的预测结果以及关系引导的权重,进一步利用模态的互补性,融合预测结果。在DB15K和MKG-W上的广泛实验证明,我们的MIDF优于现有的最先进的模型,证明了我们方法的有效性。"
Anthology ID:
2025.ccl-1.8
Volume:
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
Month:
August
Year:
2025
Address:
Jinan, China
Editors:
Maosong Sun, Peiyong Duan, Zhiyuan Liu, Ruifeng Xu, Weiwei Sun
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
89–101
Language:
URL:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.8/
DOI:
Bibkey:
Cite (ACL):
Zengxiao Chen, Hui Zhao, and Di Ying. 2025. MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 89–101, Jinan, China. Chinese Information Processing Society of China.
Cite (Informal):
MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全 (Chen et al., CCL 2025)
Copy Citation:
PDF:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.8.pdf