基于关联神经元识别的知识编辑方法

Yuzhang Wu, Yongyu Mu, Chenglong Wang, Qiaozhi He, Tong Xiao, Anxiang Ma, Chunliang Zhang, JingBo Zhu


Abstract
"近年来,大语言模型展现出了从训练语料中存储并提取知识的优秀能力,但相应地,其可靠性也容易遭受训练语料中错误信息的破坏,进而产生信息过时、错误回复等问题。基于神经元识别的知识编辑方法通过在模型中识别并微调与目标知识相关的知识神经元,实现对模型内部知识的精确修改。然而,本文研究发现,知识的表达形式会显著影响知识神经元的识别结果,例如,现有神经元识别方法对于同一知识的不同表达形式识别得到的神经元集合平均重叠率只有21.86%。这就导致只对单一的表达形式进行知识编辑无法覆盖到与这个知识相关的所有神经元,所以现有知识编辑方法的鲁棒性往往较差。为了全面且准确地识别到与某一知识相关的所有神经元,本文设计了一种轻量级关联神经元识别器(Light weight Associated Neuron Detector,LAND),通过学习不同表达形式的知识识别出的知识神经元集合之间的差异,从而在知识神经元识别的过程中,自动补全因表达形式差异而未被检出的知识神经元。实验结果表明,LAND方法能够将不同表达形式的文本识别出的知识神经元平均重叠率提升至96%以上,在不同句式的知识编辑成功率上较基线方法多提升了至多10.83个百分点。"
Anthology ID:
2025.ccl-1.55
Volume:
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
Month:
August
Year:
2025
Address:
Jinan, China
Editors:
Maosong Sun, Peiyong Duan, Zhiyuan Liu, Ruifeng Xu, Weiwei Sun
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
733–744
Language:
URL:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.55/
DOI:
Bibkey:
Cite (ACL):
Yuzhang Wu, Yongyu Mu, Chenglong Wang, Qiaozhi He, Tong Xiao, Anxiang Ma, Chunliang Zhang, and JingBo Zhu. 2025. 基于关联神经元识别的知识编辑方法. In Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025), pages 733–744, Jinan, China. Chinese Information Processing Society of China.
Cite (Informal):
基于关联神经元识别的知识编辑方法 (Wu et al., CCL 2025)
Copy Citation:
PDF:
https://preview.aclanthology.org/ingest-ccl/2025.ccl-1.55.pdf