Ring-2.5-1T的速度优势来自其底层架构的根本性创新。它基于Ling 2.5架构,采用了混合线性注意力机制——具体来说,是以1:7的比例混搭MLA(多头潜在注意力)和Lightning Linear Attention两种注意力模块。这一设计源自蚂蚁此前发布的Ring-flash-linear-2.0技术路线。
研发团队通过增量训练的方式,将原有架构中的GQA(分组查询注意力)层分别转化为Lightning Linear Attention和MLA:前者在长程推理中负责拉满吞吐量,后者则极致压缩KV Cache。为防止模型表达能力因架构改造而受损,团队还特别适配了QK Norm和Partial RoPE等特性。