人工智能生成语言与人类语言对比研究——以ChatGPT为例(A Comparative Study of Language between Artificial Intelligence and Human: A Case Study of ChatGPT)
Zhu Junhui (君辉 朱), Wang Mengyan (梦焰 王), Yang Erhong (尔弘 杨), Nie Jingran (锦燃 聂), Wang Yujie (誉杰 王), Yue Yan (岩 岳), Yang Liner (麟儿 杨)
Abstract
“基于自然语言生成技术的聊天机器人ChatGPT能够快速生成回答,但目前尚未对机器作答所使用的语言与人类真实语言在哪些方面存在差异进行充分研究。本研究提取并计算159个语言特征在人类和ChatGPT对中文开放域问题作答文本中的分布,使用随机森林、逻辑回归和支持向量机(SVM)三种机器学习算法训练人工智能探测器,并评估模型性能。实验结果表明,随机森林和SVM均能达到较高的分类准确率。通过对比分析,研究揭示了两种文本在描述性特征、字词常用度、字词多样性、句法复杂性、语篇凝聚力五个维度上语言表现的优势和不足。结果显示,两种文本之间的差异主要集中在描述性特征、字词常用度、字词多样性三个维度。”- Anthology ID:
- 2023.ccl-1.46
- Volume:
- Proceedings of the 22nd Chinese National Conference on Computational Linguistics
- Month:
- August
- Year:
- 2023
- Address:
- Harbin, China
- Editors:
- Maosong Sun, Bing Qin, Xipeng Qiu, Jing Jiang, Xianpei Han
- Venue:
- CCL
- SIG:
- Publisher:
- Chinese Information Processing Society of China
- Note:
- Pages:
- 523–534
- Language:
- Chinese
- URL:
- https://aclanthology.org/2023.ccl-1.46
- DOI:
- Cite (ACL):
- Zhu Junhui, Wang Mengyan, Yang Erhong, Nie Jingran, Wang Yujie, Yue Yan, and Yang Liner. 2023. 人工智能生成语言与人类语言对比研究——以ChatGPT为例(A Comparative Study of Language between Artificial Intelligence and Human: A Case Study of ChatGPT). In Proceedings of the 22nd Chinese National Conference on Computational Linguistics, pages 523–534, Harbin, China. Chinese Information Processing Society of China.
- Cite (Informal):
- 人工智能生成语言与人类语言对比研究——以ChatGPT为例(A Comparative Study of Language between Artificial Intelligence and Human: A Case Study of ChatGPT) (Junhui et al., CCL 2023)
- PDF:
- https://preview.aclanthology.org/emnlp-22-attachments/2023.ccl-1.46.pdf