发布时间:2023-04-29 23:02:58 来源:本站 作者:admin
犹他州杨百翰大学 (BYU) 的研究人员与数百所高等教育机构合作,看看 ChatGPT 是否能在会计考试中比实际大学生表现得更好,而人工智能聊天机器人未能做到这一点。
学生在考试中的平均得分为 76.7%,而 ChatGPT 的得分仅为 47.4%。
这项经过同行评审的研究发表在《会计教育问题》杂志上,来自 14 个不同国家的 180 多个机构的 327 名合著者参与了这项研究。
合作者的大量招募归功于杨百翰大学教授大卫伍德,他是该研究的主要作者。 伍德通过社交媒体招募了大量学者。
ChatGPT 的失败
该研究将学生在考试中的表现与 AI 聊天机器人进行了比较。 研究人员为这项研究贡献了超过 25,000 个试题。 这些问题涵盖了各种主题,包括会计信息系统、审计、税务和财务会计,采用真/假和多项选择等不同格式。
在这张 2023 年 2 月 23 日拍摄的插图中,带有显示 ChatGPT 徽标的智能手机被放置在计算机主板上。(图片来源:DADO RUVIC/REUTERS)
人工智能特别难以解决与税收、财务和管理评估相关的问题,这被认为是由于它难以处理所需的数学过程。 有时该技术使用加法而不是减法,这意味着它不能始终遵循基本的数学公式。
ChatGPT 也在简答题上苦苦挣扎(在 28.7% 和 39.1% 之间)。 此外,ChatGPT 有时会为错误答案提供权威描述,或以不同方式回答同一问题。 在某些情况下,程序会简单地编造一个参考来捍卫它的答案。
该技术能够比学生更成功地完成判断题(68.7% 正确)和多项选择题(59.5%)。
“当这项技术刚问世时,每个人都担心学生现在可以用它来作弊,”伍德说。 “但作弊的机会一直存在。所以对我们来说,我们正努力专注于我们现在可以用这项技术做些什么,而我们以前无法做到这一点,以改善教师的教学过程和学生的学习过程。”
“它并不完美;你不会将它用于所有事情,”目前是杨百翰大学新生的杰西卡伍德说。“试图仅通过使用 ChatGPT 来学习是徒劳的。”