融合MOE的多任务学习文档级企业新闻事件抽取

Aoze Zheng, Kunli Zhang, Ying Wang, Songrui Yuan, Yihao Tian, Hongying Zan


Abstract
"企业新闻事件抽取是支撑企业动态分析与产业决策的关键技术。企业新闻事件抽取具有文本篇幅较长,内容多元化的特点,面临多事件抽取和论元分散等核心挑战。大语言模型(Large Language Model,LLM)虽然具有强大的长距离依赖建模和语义关联能力,但通用大语言模型难以满足企业级应用对专业性与资源效率的需求。本文提出了融合MoE的多任务学习企业新闻事件抽取模型(MoE-Enhanced Multi-Task Learning for Corporate News Event Extraction,MoE-ML-CNEE)。通过构建统一微调数据集与多任务联合训练范式,将事件检测与论元抽取构建为结构化语言模板,增强模型全局建模能力。设计MoELoRA模块,利用动态路由机制实现多专家网络在低秩空间的知识共享与特征解耦,进一步提升模型事件抽取性能。实验表明,MoE-ML-CNEE模型在ChiFinAnn和DuEE-fin公共数据集和自建企业新闻数据集的事件检测、事件论元抽取结果均优于现有基线模型。"
Anthology ID:
2025.ccl-1.33
Volume:
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
Month:
August
Year:
2025
Address:
Jinan, China
Editors:
Maosong Sun, Peiyong Duan, Zhiyuan Liu, Ruifeng Xu, Weiwei Sun
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
448–459
Language:
URL:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.33/
DOI:
Bibkey:
Cite (ACL):
Aoze Zheng, Kunli Zhang, Ying Wang, Songrui Yuan, Yihao Tian, and Hongying Zan. 2025. 融合MOE的多任务学习文档级企业新闻事件抽取. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 448–459, Jinan, China. Chinese Information Processing Society of China.
Cite (Informal):
融合MOE的多任务学习文档级企业新闻事件抽取 (Zheng et al., CCL 2025)
Copy Citation:
PDF:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.33.pdf