蚂蚁集团探索万亿参数模型效率新路径：以“更高 Token 密度”应对算力挑战
在近期举行的 AICon 大会上，蚂蚁集团副总裁周俊围绕万亿参数大模型的效率提升问题，提出了引人深思的见解。他指出，当前大型 AI 模型，特别是万亿参数规模的模型，在算力消耗方面已达到惊人程度。据估算，模型每运行15分钟所耗费的算力成本，已可与一辆特斯拉汽车的造价相媲美。这一严峻的现实，凸显了在蓬勃发展的智能体时代，算力效率已成为亟待破解的核心难题。
为应对这一算力瓶颈，周俊及其团队构想并实施了一项具有颠覆性的策略，即从以往追求“更多 Token”的模式，转变为聚焦“更高 Token 密度”。他们引入了一种创新的混合线性注意力架构，具体为“7份 Lightning Attention 加1份 MLA”的组合。这一精心设计的架构，成功将处理长达256K上下文所需的计算成本，从原先的指数级增长大幅压制至线性级别。这意味着，宝贵的算力资源得以更有效地释放，从而集中用于模型的思考和推理过程，而非被无效的计算所吞噬。
在此基础上，该团队进一步采用了 Kpop 算法，用以精细化地区分模型在调用工具与处理自然语言 Token 时的差异。同时，结合思维链剪枝和自蒸馏等一系列先进技术手段，成功实现了 Token 输出量约4倍的削减，但模型的整体能力并未因此受到影响，反而保持了其原有水平。周俊强调，在 LongBench 和 BFCL 等多项关键基准测试中，他们基于此优化思路构建的千亿参数模型，在 Agent 任务上的表现已能超越部分规模更大的竞争对手。令人鼓舞的是，小型模型的 Flash 吞吐率也实现了2.4倍的提升，并且在进行五轮对话时，所需的算力成本更是降低了超过10倍。
蚂蚁集团提出的这一系列技术创新，不仅为人工智能领域提供了全新的研究思路，更为未来智能体（Agent）的设计和开发提供了切实可行的参考框架。该方案通过优化 Token 密度，大幅降低了模型的计算开销，使得AI技术在处理海量信息和复杂交互时，能够更加经济高效。这种侧重于“质量”而非“数量”的策略，预示着大模型发展的新方向，即在保证性能的前提下，实现更低的能耗和更高的运行效率，从而加速AI技术的普及和应用落地。
蚂蚁集团在提升大模型效率方面的探索，以“更高 Token 密度”为核心，通过架构创新与算法优化，有效缓解了高昂的算力成本问题，预示着AI向更经济、更普惠的智能体时代迈进。