《科创板日报》2月12日讯（记者 张洋洋）今日，字节跳动豆包大模型团队提出了全新的稀少模型架构 UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理快率较 MoE 架构提升2-6倍，推理成本最高可降低83%
。

目前，国内表大模型领域的竞争愈发强烈，已然进入白热化阶段
。豆包在AI基础层和利用层上均进行了全面布局，并持续迭代升级
。

大模型持续降本增效

凭据豆包大模型团队的钻研，在Transformer架构下，模型的机能与其参数数量和推算复杂度呈对数关系
。随着LLM规模不休增大，推理成本会急剧增长，快率变慢
。

只管MoE（混合专家）架构已经成功将推算和参数解耦，但在推理时，较幼的batch size就会激活全数专家，导致访存急剧上升，进而使推理延长大幅增长
。

字节跳动豆包大模型Foundation团队提出了UltraMem，这是一种同样将推算和参数解耦的稀少模型架构，在保障模型成效的前提下解决了推理的访存问题
。

尝试了局批注，在参数和激活前提一样的情况下，UltraMem在模型成效上超过了MoE，并将推理快率提升了2-6倍
。此表，在常见batch size规模下，UltraMem的访存成本险些与同推算量的Dense模型相当
。

能够看到，不论是训练端还是推理端，大模型厂商均在力争降本增效
。主题原因是随着模型规模的扩大，推理成本和访存效能已成为限度大模型规模利用的关键瓶颈，而DeepSeek已经走通了“低成本高机能”突破的这条路
。

岩芯数智CEO刘凡平在接受《科创板日报》记者采访分析以为，降低大模型的成本，业内更偏差于从技术和工程层面进行突破，实现架构优化的“弯路超车”
；〖芄，如Transformer架组成本仍旧高企，新的架构钻研必必要有；基础算法，重要是反向传布算法，这类算法可能是深度进建的瓶颈
。

在刘凡平看来，短期内，高端芯片市场依然还是会由英伟达主导
。推理当用市场需要在增长，国产GPU公此刻也有机遇
。从持久来看，算法一旦创新出的了局，还是比力惊人，整个算力市场需要后期有待观察
。

豆包的压力才刚刚起头

在刚刚从前的春节，DeepSeek以其便宜的训练成本和高效的运算效能迅快火爆全球，成为AI领域的黑马
。目前，国内表大模型领域的竞争愈发强烈，已然进入白热化阶段
。

DeeSeek是目前国内大模型中，豆包最强劲的敌手，前者在1月28日的日活跃用户数初次超过后者
。目前DeepSeek的日活数据已经突破4000万，成为中国移动互联网汗青上第一个上线不及一个月，但闯进全网日活Top50的利用
。

近几日，豆包大模型团队陆续发力
。两天前，其刚刚颁布视频天生尝试模型“VideoWorld”，分歧于 Sora 、DALL-E 、Midjourney 等主流多模态模型，VideoWorld 在业界初次实现无需依赖说话模型，即可认知世界
。

目前，豆包在AI基础层和利用层进行了全面布局，并持续迭代升级
。其AI产品矩阵已涵盖多个领域，如AI谈天副手豆包、猫箱、即梦AI、星绘、豆包MarsCode等
。

2月12日，豆包概想股午后急剧走高
。据Wind数据显示，抖音豆包指数2月以来累计涨幅已超15%
。个股方面，博彦科技强势涨停，汉得信息急剧拉升一度涨停，广和通、先进数通等盘中冲高
。

中信证券此前颁布研报以为，豆包AI的生态扩张将引发新一轮巨头的技术投资周期
。AI产业拥有强网络效应和规模效应，当头部AI利用获得用户当吓着势后，其模型精准度、边际成本以及用户粘性等竞争优势将逐步加强
。

豆包用户数持续增长，基于豆包AI的利用生态将有望加快，一方面，将催化公司对AI训练及推理算力基础设施投资，另一方面，豆包AI的急剧增长将刺激其它巨头厂商加大对AI基础设施投资
。

但是对于豆包自己而言，与尖子生DeepSeek的较量或许才刚刚起头
。

作为一个开源模型，DeepSeek的低成本和高机能在扭转不少公司的模型选择战术
。目前，华为、百度等公司旗下的不少AI利用都颁发了接入DeepSeek，甚至字节跳动自己，旗下的飞书的多维表格职能已接入DeepSeek-R1模型，火山引擎也做了适配
。

据《科创板日报》记者相识，目前，豆包团队内部还在会商豆包App是否要接入DeepSeek，从用户履历的角度来讲，选择一个成效更优的模型未可厚非，但是烧毁自家模型选择友商，也很难向股东交代
。这还不思考，新增模型接入，增长适配职守等问题
。