@inproceedings{chen-etal-2025-midf,
title = "{MIDF}: 基于模态交互和关系引导决策融合的多模态知识图谱补全",
author = "Chen, Zengxiao and
Zhao, Hui and
Ying, Di",
editor = "Sun, Maosong and
Duan, Peiyong and
Liu, Zhiyuan and
Xu, Ruifeng and
Sun, Weiwei",
booktitle = "Proceedings of the 24th {C}hina National Conference on Computational Linguistics ({CCL} 2025)",
month = aug,
year = "2025",
address = "Jinan, China",
publisher = "Chinese Information Processing Society of China",
url = "https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.8/",
pages = "89--101",
abstract = "``多模态知识图补全(MMKGC)通过融合实体间的结构化语义信息与多模态特征,从给定的多模态知识图谱(MMKG)中发现未观察到的潜在事实。然而,现有方法普遍忽略了实体表示过程中不同模态的交互,同时缺乏对补全过程中模态之间互补性的关注。为了解决这些不足,我们提出了一种新的模型MIDF(模态交互和决策融合)来处理多模态的交互和互补。该模型首先设计了一个实体多模态交互融合模块,将实体的图像和文本特征提前交互后,再与结构特征进行融合,充分学习实体的嵌入。为了在补全过程中进一步利用不同模态之间的互补性,我们设计了关系引导的决策融合模块。通过使用不同模态的预测结果以及关系引导的权重,进一步利用模态的互补性,融合预测结果。在DB15K和MKG-W上的广泛实验证明,我们的MIDF优于现有的最先进的模型,证明了我们方法的有效性。''"
}Markdown (Informal)
[MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全](https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.8/) (Chen et al., CCL 2025)
ACL
- Zengxiao Chen, Hui Zhao, and Di Ying. 2025. MIDF: 基于模态交互和关系引导决策融合的多模态知识图谱补全. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 89–101, Jinan, China. Chinese Information Processing Society of China.