文章插图
文章插图
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
Meta最新大模型差点成了“科研造假发动机”，刚出3天就在争议中下架 。
1200亿参数语言模型Galactica，在4800万篇学术论文和各式教科书、百科等数据上训练而来 。
（与太空堡垒卡拉狄加同名）
其本意是想解决学术界信息过载，帮助研究人员做信息梳理、知识推理和写作辅助，一度被认为是“科研者的福音”，或者“写论文的Copilot” 。
文章插图
But ， 一经开放使用，很快就被网友们发现了大问题 。
它确实能为自己生成的内容引用文献，但有时这个文献并不存在，作者却是真实存在的人 。
文章插图
它能生成看起来像模像样的科普文字，但内容却是完全错误的 。
文章插图
△真空中的光速和声速接近可还行？
著名的Gary·AI悲观主义者·Marcus也来吐槽，Galactica把他的出生日期、教育经历和研究领域等信息全搞错了 。
文章插图
对以上种种问题，马克斯普朗克智能系统研究所所长Michael Black总结道：
这将开启一个科学深度造假（deep scientific fakes）的时代 。
会出现研究者从未写过的虚假论文，这些论文随后会被其他真实的论文引用，简直乱套了 。
【Meta大模型成了“科学造假发动机”，发布3天就在争议中下架】虽然他也注意到，Galactica的开发者在每个输出内容后都加了“内容可能不可靠”的警告 ， 但“潘多拉的魔盒一旦开启，就关不上了” 。
事实上他的担忧不无道理，AI生成内容的速度要比人类快的多，一旦大量被搜索引擎抓取就有可能出现在前排，甚至被当成正确答案展示在最上面，误导更多人 。
这样的争议持续了两三天，团队只好无奈宣布Demo暂时下架，论文和源代码继续开放给相关领域研究者 。
文章插图
作为Meta首席科学家 ， LeCun对这个局面并不满意 。
与他观点一致的网友认为 ， Galactica是有帮助且有趣的，只是被个别人滥用了 。
文章插图
本意是好的
Galactica由Meta AI与Papers with Code合作开发 。
在论文引言部分，团队写到：
2022年5月 ， arXiv上每天平均新增516篇论文……科学数据的增长速度更是比人们的处理能力快……一个人已经不可能读完特定研究领域的论文 。
搜索引擎不直接组织信息，维基百科这样的形式需要人力来维护，研究人员持续为信息过载感到不知所措 。
因此他们提出，语言大模型可以更好的存储、组合和推理科学知识，并提出一个终极愿景：
神经网络将成为科学研究的下一代人机界面 ， 就从这篇论文开始 。
文章插图
本意是好的，而且Galactica的表现也确实不错 。
相关经验推荐
- 粽子煮成粥什么原因 为什么煮粽子煮成了粥
- RTX4080：为何“贵”成了最大的标签？
- AI会和人类谈判了？Meta AI新研究登Science，LeCun称里程碑成果
- 艾伦唱野子是啥电影 一首野子造成了电影里的惨案
- 二战遗留下的一处战场，时隔几十年才被发现，去的人几乎成了富翁
- 专家们针对牛奶达成了五点共识 牛奶的健康作用大全
- meta20打开app怎么不显示支付保护中呢
- 吉鲁：这是一场艰难的比赛 但我们完成了任务
- 藕粉没冲好怎么补救 藕粉冲成了水怎么处理
- 你是谁我是谁是什么歌时光变成了盗贼 你是谁我是谁是什么歌