收藏本社区 社区投诉 返回META您当前的位置:新浪股市汇 > 美股>META(meta.us)> 浏览帖子
新浪财经客户端

【突破算力限制 Meta开源“记忆层”

【突破算力限制 Meta开源“记忆层”,重塑Transformer架构大模型】 扎克伯格旗下Meta Platforms分享了一个创新研究——Memory layers(记忆层)。目前,Transformer架构的预训练大模型在存储、查询数据时,随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法,通过比较查询键与两个较小集合中的键,可以快速找到最相关的键,而无需遍历模型的整个记忆层。这也就是说,可以在不增加算力的情况下显著增加大模型的参数。例如,研究人员在仅有1.3亿参数的模型中添加了128亿额外的记忆参数,其性能与Meta开源的Llama 2- 70相当,而算力却比它低了10倍左右。

此文仅代表作者观点,点击可查看作者简介

01月03日 06:09
来自电脑网页版
(0)| 阅读数(111) |
分享
| 收藏 | 回复(0) | 举报
新浪推荐
本社区信息

版主:

我要做版主
其他服务
如果你使用中遇到困难请联系,@新浪股市汇