文章图片
文章图片
文章图片
在位于巴黎郊区的法国国家科学研究中心 ， 有一个超级计算中心 ， 内部一排排看起来像黑色冰箱的东西正嗡嗡作响 。 听着震耳欲聋的100分贝的声音 ， 就像是参加了一场人工智能研究的摇滚音乐会 。
这些嗡嗡作响的东西是超级计算机的一部分 ， 该超级计算机花了117天时间开发了一种名为BLOOM的新大型语言模型（LLM ， LargeLanguageModel） ， 它的创造者希望这展现了一条与人工智能常见开发方式完全不同的道路 。
BLOOM的英文全名代表着大科学、大型、开放科学、开源的多语言语言模型 。
与其他更著名的大型语言模型 ， 如OpenAIGPT-3和谷歌的LaMDA ， 它的设计尽可能透明 ， 研究人员会分享训练数据的细节 ， 开发过程中的挑战 ， 以及性能的评估方式 。
OpenAI和谷歌还没有共享他们的代码 ， 也没有向公众提供他们的模型 ， 外部研究人员对这些模型的训练方式知之甚少 。
BLOOM是去年由1000多名志愿研究人员在一个名为“大科学BigScience”的项目中创建的 ， 该项目由人工智能初创公司HuggingFace利用法国政府的资金运作的 。 该模型于7月12日正式发布 。
研究人员希望开发一种开放获取的大型语言模型 ， 性能足以媲美其他先进的模型 ， 而且还可以推动人工智能开发文化发生转变 ， 并且帮助世界各地的研究人员普及尖端人工智能技术 。
（来源：《麻省理工科技评论》）
BLOOM模型的最大优势是它的易获取性 。 它现在已经公开发布了 ， 任何人都可以在HuggingFace网站上免费下载 。 用户有多个语种可选 ， 然后将需求输入到BLOOM中 ， 任务类型包括撰写食谱或诗歌、翻译或总结文本 ， 甚至还有代码编程 。 人工智能开发人员可以在该模型的基础上构建他们自己的应用程序 。
BLOOM拥有1760亿个参数（决定输入数据如何转换为输出内容的变量） ， 稍多于拥有1750亿个参数的GPT-3 ， 研究人员称它提供了与其他相同大小的模型相似的准确性和有毒文本水平 。 对于西班牙语和阿拉伯语等语言来说 ， BLOOM是第一个如此规模的大型语言模型 。
但即使是该模型的创造者也警告说 ， 它尚未解决困扰大型语言模型的根深蒂固的问题 ， 包括在数据治理和隐私方面缺乏足够的政策指引 ， 以及算法会生成有毒内容 ， 如充斥种族主义或性别歧视的文字 。
公开获取
大型语言模型是一种使用了大量数据训练的深度学习算法 。 它们是人工智能研究中最热门的领域之一 。 像GPT-3和LaMDA这样强大的模型 ， 它们生成的文本读起来就像是人类写的 ， 在改变在线信息处理方面有巨大的潜力 。
它们可以被用来开发聊天机器人 ， 或者用来搜索信息、筛查在线内容、总结书籍、或者根据提示生成全新的文本 。 但它们也充满着问题 ， 只需要一点点引导 ， 这些模型就可以生成有毒内容 。
这些模型也非常独特 。 他们需要使用大量昂贵的算力来支撑大量数据的训练 ， 而这只有像谷歌这样的大型科技公司才能负担得起 。
大多数开发尖端大型语言模型的大型科技公司都限制了外部人士使用它们 ， 也没有公布有关其模型内部运作的信息 ， 这使得他们很难承担责任 。 保密性和排他性是BLOOM研究人员希望改变的东西 。
相关经验推荐
- 红米手机|红米K60遭曝光：关键性参数基本确认，感觉红米K50不香了
- 努比亚|努比亚Z40SPro即将发布，参数配置已悉数曝光，一个字“稳”
- 安卓|安卓阵营堆相机参数，苹果仍1200W像素，噱头还是实力派一测便知
- 华为鸿蒙系统|这颜值和配置如何？魅族19外观和参数提前曝光，魅友们很满意
- 空调|一代“彩电大王”落幕：年营收曾高达30亿，做过手机、卖过猪肉
- 折叠屏|国内折叠屏手机榜单更新：三星排名第二，榜首市场份额高达52%
- 华为|华为人均工资高达70万，但先看看华为员工的16项标准
- 荣耀70|“参数党”表示看不懂，荣耀70是有多超常识？
- 微信|CPU占用率高达156% 网友吐槽：微信到底想干啥
- 芯片|iQOO10系列曝光配置参数汇总，骁龙8+搭配V1+芯片，性能天花板？