11 月 17 日,欧洲云服务企业 OVHcloud 宣布推出 AI 模型家族 Olala,并公布模型 Olala mini 7A1B。该模型结合 Differential-TPA 与 Mamba-3 混合注意力机制,总参数 70 亿、激活参数 10 亿,以 Apache 2.0 许可在 Hugging Face 开源。

官方称,模型可在 8GB 显存 GPU 上运行,在 RTX A4500 上每秒生成 160 个词元,纯 CPU 平台每秒 50 个词元;训练在三台欧洲公共超算上用英伟达 GH200、A100、H100 完成,总开销 700 万欧元。初始版本上下文 32K,年底 1.1 版计划扩至 128K,Olala 2.0 参数将超 1000 亿。上述数据均为厂商口径。

信息来源