1月13日消息,今日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于可扩展查找的条件记忆:大型语言模型稀疏性的新维度)。
该论文为北京大学与DeepSeek共同完成,合著作者署名中出现梁文锋。
论文提出条件记忆(conditional memory),通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。
此外,DeepSeek还开源相关记忆模块Engram。
该模块提出了“查—算分离”的全新架构思路,业内认为,Engram有望成为DeepSeek下一代模型V4的核心技术基础。
据媒体报道,知情人士透露,DeepSeek计划于2月中旬农历新年前后推出V4模型,不过具体时间仍可能调整。
文章来源:
快科技
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至23467321@qq.com举报,一经查实,本站将立刻删除;如已特别标注为本站原创文章的,转载时请以链接形式注明文章出处,谢谢!