AI代写论文现象如何科学治理
【深瞳工作室出品】
采 写:实习记者 吴叶凡
本报记者 付丽丽
策 划:刘 恕 李 坤
“太不像话了!学生用人工智能生成的期末论文糊弄我。”近日,上海某高校教师在社交媒体上“吐槽”自己遇到的新难题——一些想偷懒的学生开始用人工智能技术完成论文。
以ChatGPT为代表的生成式人工智能技术(AIGC)横空出世,似乎为人们写论文提供了新帮手。从提供选题到文稿润色、从统计分析到图表制作……其功能之强大,几乎覆盖了学术论文写作过程的方方面面。
面对ChatGPT等工具的潜在风险,争议随之而来。不少人质疑,人工智能到底能不能用于辅助学术论文写作。有人认为,它只是提高科研效率的工具。有人则对此持审慎态度,认为容易引发大规模的学术诚信问题。
人工智能技术在论文写作中的应用程度如何?技术应用的边界在哪里?如何对这一技术进行有效治理?科技日报记者对此进行了深入采访。
AI生成的文本“非常水”
有多少人尝试过用人工智能技术写论文?去年《自然》杂志对全球博士后的一项调查发现,约有三分之一的受访者使用人工智能聊天机器人来优化文本、生成或编辑代码、整理文献。
当记者尝试在社交媒体上搜索“AI”“论文”“写作”等关键词,五花八门的AI论文写作指导教程映入眼帘。其中大部分宣称能够教会用户在几分钟内通过几个简单的步骤,生成一篇几万字的“优质”论文。这些教程的浏览量最高已达数百万。
AI真的能生成一篇完整的“优质”论文吗?记者按照教程开始了尝试:“请提出与民族志纪录片有关的论文选题。”几乎无需等待,几个看起来很“靠谱”的选题就出现在对话框里。
“请就某一选题生成写作大纲。”几秒后,7个像模像样的章节全部生成完毕。“请就提纲中某项内容,详细描述2000字。”重复几次操作后,一篇几万字的“论文”很快就完成了。但记者浏览后发现,其生成的段落中,存在大部分重复且言之无物的内容。
除了说“车轱辘”话,某985高校人工智能专业硕士研究生温睿还发现了此类论文的行文特点:“一般是先写一句话,然后进行分条论述。当老师看到这样套路化的内容就会猜测,这类文章很大程度上是人工智能写的。”
文章开头那位教师的经历印证了温睿的发现。“这样的论文看似条理清晰、层次丰富,但实际上每个层面的内容都很少,而且非常空洞。我马上就怀疑是AI生成的。”该老师说。
不少期刊编辑、审稿人也发现了同样的问题。
某人文社科期刊审稿人徐彬向记者透露,用AI写论文的关键在于提示词。如果提示词选用的不恰当,就极有可能得到一篇套路化的文章。他目前已经收到过五六篇“一眼就能看出来”用AI写的稿子。
“这些文章的共同特点就是非常水。虽然它生成的语言连贯性不错,但是缺乏深度,创新性也不强。”对此,徐彬略显无奈,“综述类文章是使用AI的重灾区,但目前期刊还缺乏相关的评价标准和处理机制。”
伪造数据集更具隐蔽性
在清华大学人工智能国际治理研究院副院长梁正看来,论文核心评价标准包括作者发挥的创造性、对论文的贡献程度。一篇大部分由AI生成且隐瞒使用情况的文章,既没有作者智力的贡献,也不符合科研诚信的要求,属于学术造假。
AIGC造成的学术造假还发生在数据领域。记者在采访过程中,多位业内专家提到了伪造数据集问题。相比直接的文本生成,这一方式更具有隐蔽性。
GPT-4的ADA功能是一种结合了计算机编程语言Python的模型,可以执行统计分析和创建数据可视化。梁正向记者讲述了一则真实的案例:国外某机构研究人员先是要求GPT-4 ADA创建一个关于圆锥角膜患者的数据集,后又要求它编造临床数据,用以支持深板层角膜移植术比穿透性角膜移植术效果更好的结论。但真实的临床数据证明,两种手术效果并无明显差别。