Self-Guide:一种基于自我规划的大语言模型推理增强方法(Self-Guide: Enhancing LLM Reasoning Ability via Self-Plan)
Liu Yibin (刘艺彬), Liu Zhenghao (刘正皓), Yan Yukun (闫宇坤), Yu Shi (于是), Wang Shuo (王硕), Yang Liner (麟儿 杨), Chen Huimin (陈慧敏), Gu Yu (谷峪), Yu Ge (于戈)
Abstract
“尽管大语言模型在自然语言处理任务中取得显著进展,但其在复杂问题推理等领域还面临着认知负荷问题,即大语言模型在推理过程需要记忆并处理大量信息。因此,如何有效地减少语言模型推理过程中的认知负荷,缓解推理过程中可能出现的认知过载是一个亟待解决的问题。对此本文提出了Self-Guide方法,用于增强语言模型的推理能力。该方法通过指引大语言模型生成常识知识和推理指导,让语言模型基于自我规划来增强其推理能力,并通过与推理链结合的方式对模型的推理过程进行校准。与现有方法不同的是,本文在不对大语言模型进行微调或使用外部工具的情况下,显著提升了语言模型的推理性能。实验结果表明,Self-Guide方法在四种常见推理任务上性能显著优于基线方法,同时相比传统的推理链模型,Self-Guide方法在推理能力较弱的模型上也具有良好的泛化性能。通过结合大语言模型的自我规划和推理能力,Self-Guide方法为提升语言模型的推理能力提供了一种新的有效途径。”- Anthology ID:
- 2024.ccl-1.67
- Volume:
- Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference)
- Month:
- July
- Year:
- 2024
- Address:
- Taiyuan, China
- Editors:
- Maosong Sun, Jiye Liang, Xianpei Han, Zhiyuan Liu, Yulan He
- Venue:
- CCL
- SIG:
- Publisher:
- Chinese Information Processing Society of China
- Note:
- Pages:
- 853–869
- Language:
- Chinese
- URL:
- https://preview.aclanthology.org/add-emnlp-2024-awards/2024.ccl-1.67/
- DOI:
- Cite (ACL):
- Liu Yibin, Liu Zhenghao, Yan Yukun, Yu Shi, Wang Shuo, Yang Liner, Chen Huimin, Gu Yu, and Yu Ge. 2024. Self-Guide:一种基于自我规划的大语言模型推理增强方法(Self-Guide: Enhancing LLM Reasoning Ability via Self-Plan). In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference), pages 853–869, Taiyuan, China. Chinese Information Processing Society of China.
- Cite (Informal):
- Self-Guide:一种基于自我规划的大语言模型推理增强方法(Self-Guide: Enhancing LLM Reasoning Ability via Self-Plan) (Yibin et al., CCL 2024)
- PDF:
- https://preview.aclanthology.org/add-emnlp-2024-awards/2024.ccl-1.67.pdf