大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models)

Xu Zhang (张旭), Mengqing Guo (郭梦清), Shucheng Zhu (朱述承), Dong Yu (于东), Ying Liu (刘颖), Pengyuan Liu (刘鹏远)


Abstract
“大语言模型问世以来,在自然语言处理诸多任务上都取得了惊人的表现。但其中可能存在的安全性和公平性问题也引起了人们的重视,特别是模型生成文本可能含有对特定职业、性别等群体的偏见和歧视。本文通过两种性别表征形式,构造了显性和隐性的”性别+职业“提示语,提示大语言模型生成开放性文本,并从情感极性、词汇丰富度和冒犯性程度三个维度对生成文本的偏见进行分析,评估并比较了传统模型与以ChatGPT为代表的大语言模型中的职业显性性别和隐性性别交叉偏见。结果表明,比起单维度的职业、性别身份信息,更复杂的职业性别交叉身份信息会减少ChatGPT生成文本中的偏见,具体表现为情感极性趋于中性,词汇丰富度提高;ChatGPT对于不同类型的职业性别身份展现出差异的态度,对研究型、艺术型等创造类的职业情感极性更高,对事务型、经管型等与人打交道的职业情感极性偏低;另外,ChatGPT相比之前的GPT-2模型在生成能力和消除偏见上有所进步,在多种组合身份提示下的生成文本更加积极、多样,冒犯性内容显著减少。”
Anthology ID:
2024.ccl-1.61
Volume:
Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference)
Month:
July
Year:
2024
Address:
Taiyuan, China
Editors:
Sun Maosong, Liang Jiye, Han Xianpei, Liu Zhiyuan, He Yulan
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
774–789
Language:
Chinese
URL:
https://preview.aclanthology.org/author-degibert/2024.ccl-1.61/
DOI:
Bibkey:
Cite (ACL):
Xu Zhang, Mengqing Guo, Shucheng Zhu, Dong Yu, Ying Liu, and Pengyuan Liu. 2024. 大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models). In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference), pages 774–789, Taiyuan, China. Chinese Information Processing Society of China.
Cite (Informal):
大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models) (Zhang et al., CCL 2024)
Copy Citation:
PDF:
https://preview.aclanthology.org/author-degibert/2024.ccl-1.61.pdf