当前AI对话机器人的创意能力已与人类相当。但作者也指出,他们只评价了涉及创造性评估的单项任务的表现。

《科学报告》9月14日发表的一项研究指出,大型语言模型(LLM)人工智能(AI)对话机器人在创造性思维任务上能够超越大部分人类。该任务要求受试者想出日常用品的替代用途,这是发散性思维的一个例子。不过,得分最高的人类受试者依然能超过对话机器人的最佳答案。

发散性思维通常是指与创造性相关的一类思维过程,需要为特定任务想出各种不同创意或对策。发散性思维一般通过替代用途任务(AUT)进行评估,受试者被要求在短时间内想出某个日常用品的其他用途,越多越好。受试者的回答从4个类别进行打分:流利度、灵活性、原创性和精细度。

在这项研究中,ChatGPT3、ChatGPT4和Copy.Ai完成了4个物品,即绳子、盒子、铅笔、蜡烛的AUT,芬兰图尔库大学的Mika Koivisto和挪威卑尔根大学的Simone Grassini随后将其与人类的答案进行了比较。

研究人员根据语义距离即回答与物品原始用途的相关度,和创造性回答的原创性打分。他们用一个计算方法在0~2的范围里量化语义距离,同时让不知道作答者身份的人类打分者在1~5的范围里客观评价创造性。

平均而言,对话机器人的回答在语义距离(0.95相对于0.91)和创造性(2.91相对于2.47)的得分上显著高于人类的回答。人类回答在这两项的得分差距更大——最低分远低于AI的回答,但最高分普遍比AI高。最佳人类回答在8个评分项中的7项都超过了所有对话机器人的最佳回答。

这项研究结果表明,当前AI对话机器人的创意能力已与人类相当。但作者也指出,他们只评价了涉及创造性评估的单项任务的表现。作者认为,今后的研究或探索如何将AI融入创造性过程来提升人类表现。

相关论文信息:

https://doi.org/10.1038/s41598-023-40858-3