HMUM:面向仇恨模因检测的多阶段多模态理解模型

裴淑娟 裴淑娟, Jiali Zuo, Le He, Jianyi Wan, Mingwen Wang


Abstract
"随着社交媒体的广泛普及,模因(meme)已成为信息传播与舆论引导的重要载体,其中蕴含的仇恨内容对网络生态与公共安全构成威胁,尤其是通过图像暗示、文化隐喻或社会符号等方式表达的隐性仇恨模因,具有更强的隐蔽性与误导性,给仇恨模因检测任务带来显著挑战。针对上述问题,本文提出了一种仇恨模因理解模型(Hateful Meme Understanding Model,HMUM),在Qwen2.5-VL-72B-Instruct模型基础上引入LoRA微调,并设计了一种多模态多阶段的提示学习框架。该框架通过阶段性引导模型依次完成文本识别、情绪建模与仇恨性推理,逐步增强其对模因语义与情感的理解能力,从而有效提升模型在中文语境下检测语义隐晦、情绪复杂仇恨模因的准确性。在公开数据集ToxiCN MM上的实验结果表明,HMUM(Qwen)在整体任务中取得了显著性能提升,在隐性仇恨模因子集检测方面,相较于基线模型表现出更强的优势。为评估其在更广泛隐性场景中的检测能力,本文构建了以隐性仇恨模因为主的数据集ITTD-220,实验结果显示,HMUM(Qwen)在该数据集上的检测性能同样优于现有模型,验证了其出色的泛化能力。"
Anthology ID:
2025.ccl-1.59
Volume:
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
Month:
August
Year:
2025
Address:
Jinan, China
Editors:
Maosong Sun, Peiyong Duan, Zhiyuan Liu, Ruifeng Xu, Weiwei Sun
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
783–791
Language:
URL:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.59/
DOI:
Bibkey:
Cite (ACL):
裴淑娟 裴淑娟, Jiali Zuo, Le He, Jianyi Wan, and Mingwen Wang. 2025. HMUM:面向仇恨模因检测的多阶段多模态理解模型. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 783–791, Jinan, China. Chinese Information Processing Society of China.
Cite (Informal):
HMUM:面向仇恨模因检测的多阶段多模态理解模型 (裴淑娟 et al., CCL 2025)
Copy Citation:
PDF:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.59.pdf