6 月 8 日消息,据日本《朝日新闻》报道,美国堪萨斯大学的研究团队近期发现了一种新的检验办法,可以准确判断一篇论文是否由 ChatGPT 创作,其准确率可达到 99%。
目前,用户只需要输入一组数据,并附言“请使用这些数据写一份学术论文”,ChatGPT 就能在几十秒内创作一篇可以假乱真的论文,这使得许多论文作者已经部分甚至全部使用 ChatGPT 来写论文。
不过,一些学术期刊和研究机构已经警告称,如果这些作者在提交时没有明确说明自己使用了 ChatGPT,则构成抄袭或其他欺诈行为。
出于这个原因,检测文章是否是由 AI 生成的相关工具研发已经取得了进展,但到目前为止,还没有专门用于学术论文的检测工具。
堪萨斯大学的研究团队则专注于从“段落复杂性”和“常用短语”着手,训练一个新的 AI 来检验一篇论文是否由 ChatGPT 生成。
报道称,研究团队在截至 2023 年 3 月的半年内,从美国学术期刊《科学》杂志上选取了 64 篇论文,并让 ChatGPT 为论文生成 300-400 个字左右的摘要,最终生成了 128 篇由 ChatGPT 创作的文章,并被用于训练这个新的检测 AI 模型。
经过训练,该模型可以从 AI 生成的文章中 100% 识别出人工创作的部分,对文本中特定段落的识别准确率为 92%,综合准确率达 99%。相关成果已经发布在了《Cell Reports Physical Science》杂志上。
研究团队发现,ChatGPT 很少使用“虽然…… 但是……(but、however、although)”这类表述。相反,它很喜欢使用“他人(others)、研究者(reseARchers)”等词语。
另一方面,人类更习惯将长句和短句交错使用,并且在句式上也与 ChatGPT 的惯用写法有所差异。
此前报道,美国得克萨斯农工大学的一位教授,曾通过向 ChatGPT 输入学生论文的方式来反向验证这些论文是否也是由 ChatGPT 生成,同样取得了“不错的效果”—— 直接导致半个班的学生挂科。
附上论文链接:点此前往