敢想科技说

AI审稿革命ICLR 2025如何用大模型重塑学术评审生态


Listen Later

今天咱们聊个新鲜事儿AI给人类教授改作业,还改出了新高度!就在上周,机器学习顶会ICLR 2025扔出颗重磅炸弹他们的AI审稿系统居然给人类审稿人提了12222条建议,89的情况还真把评审质量给顶上去了。这事儿够魔幻吧?且听我慢慢道来。

话说去年十月,ICLR组委会那帮技术狂人突发奇想既然ChatGPT都能写情书了,为啥不能帮教授们审论文?他们搞了个叫评审反馈智能体的AI系统,核心是5个大模型联合作战,专门给人类审稿人当军师。每篇评审平均花1分钟处理,成本才50美分,比请博士生喝咖啡都便宜。

最绝的是这AI的套路它不直接改论文,而是像老中医似的给审稿人开药方。比如看到这个实验设计不够好这种片儿汤话,AI就建议改成建议增加对照组,具体可参考第3章第2节的方法。您猜怎么着?266的审稿人真就乖乖照着AI的建议重写了评审意见。

这事儿背后藏着个学术圈不能说的秘密现在AI顶会投稿量年年暴涨,ICLR 2025收到11603篇论文,比前年多了61。审稿人早就不堪重负了有教授跟我吐槽,他去年审到第8篇时连作者名字都看串行。更离谱的是,2023年ACL会议129的评审被作者投诉是废话文学,审稿质量都快成玄学了。

ICLR的解决方案堪称教科书级操作首先限定每位审稿人最多审3篇,然后派AI当审稿人教练。这AI专门治三种病含糊其辞的评论没看见的论文内容还有审稿人偶尔爆发的毒舌属性。有个真实案例,AI把某审稿人这方法纯属扯淡的建议,硬是掰成了该方法在计算复杂度方面可能存在局限,建议补充时间复杂度分析学术圈的语言艺术算是被AI玩明白了。

最让我拍案叫绝的是后续数据用了AI建议的审稿人,平均多写80个字的评审意见作者反驳时也多写48个字,活像学术版的话痨传染。不过您别以为AI要抢教授饭碗最终论文录用率其实没变化,这说明AI真正优化的是学术交流的信息熵。

现在问题来了当89的AI建议能提升评审质量,当12222条机器生成的评论被人类采纳,我们是不是正在见证学术评审的工业革命?CVPR 2025还在严禁AI审稿,ICLR却搞出30页技术报告公开带货,这波操作够不够朋克?下次您收到审稿意见时,不妨仔细品品说不定您正在阅读的,是AI和人类教授共同创作的学术同人文呢!

...more
View all episodesView all episodes
Download on the App Store

敢想科技说By 无何有老田