利用语义关联增强的跨语言预训练模型的译文质量评估(A Cross-language Pre-trained Model with Enhanced Semantic Connection for MT Quality Estimation)

Heng Ye (叶恒), Zhengxian Gong (贡正仙)


Abstract
机器翻译质量评估(QE)虽然不需要参考译文就能进行自动评估,但它需要人工标注的评估数据进行训练。基于神经网络框架的QE为了克服人工评估数据的稀缺问题,通常包括两个阶段,首先借助大规模的平行语料学习双语对齐,然后在小规模评估数据集上进行评估建模。跨语言预训练模型可以用来代替该任务第一阶段的学习过程,因此本文首先建议一个基于XLM-R的为源/目标语言统一编码的QE模型。其次,由于大多数预训练模型是在多语言的单语数据集上构建的,因此两两语言对的语义关联能力相对较弱。为了能使跨语言预训练模型更好地适应QE任务,本文提出用三种预训练策略来增强预训练模型的跨语言语义关联能力。本文的方法在WMT2017和WMT2019英德评估数据集上都达到了最高性能。
Anthology ID:
2021.ccl-1.3
Volume:
Proceedings of the 20th Chinese National Conference on Computational Linguistics
Month:
August
Year:
2021
Address:
Huhhot, China
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
23–34
Language:
Chinese
URL:
https://aclanthology.org/2021.ccl-1.3
DOI:
Bibkey:
Cite (ACL):
Heng Ye and Zhengxian Gong. 2021. 利用语义关联增强的跨语言预训练模型的译文质量评估(A Cross-language Pre-trained Model with Enhanced Semantic Connection for MT Quality Estimation). In Proceedings of the 20th Chinese National Conference on Computational Linguistics, pages 23–34, Huhhot, China. Chinese Information Processing Society of China.
Cite (Informal):
利用语义关联增强的跨语言预训练模型的译文质量评估(A Cross-language Pre-trained Model with Enhanced Semantic Connection for MT Quality Estimation) (Ye & Gong, CCL 2021)
Copy Citation:
PDF:
https://preview.aclanthology.org/auto-file-uploads/2021.ccl-1.3.pdf