快科技6月9日消息，小米联合TileRT正式推出MiMo-V2.5-Pro-UltraSpeed，实现行业里程碑式突破：基于万亿参数大模型，在单台标准8卡通用GPU节点上，首次将文本生成速度提升至1000 tokens/s。
甚至峰值可达1200 tokens/s，全程无需定制专用芯片，大幅降低了极速AI推理的落地门槛。
小米发布MiMo-V2.5-Pro-UltraSpeed：生成速度提升10倍！突破1000 tokens/s
该版本同步上线限时API服务，定价为原版MiMo-V2.5-Pro的3倍，但生成速度提升约10倍，性价比优势突出。
受高速推理资源限制，服务采用申请制限时开放，试用周期为北京时间6月9日至6月23日23:59，平台优先审核有实际业务需求的企业与专业开发者，普通用户可通过专属网页免费体验对话功能。
单账号每日排队上限10次，单会话最长30分钟，闲置5分钟将自动断开，保障资源公平分配。
小米发布MiMo-V2.5-Pro-UltraSpeed：生成速度提升10倍！突破1000 tokens/s
此次性能飞跃依托模型与系统深度协同设计，核心包含三大技术创新：
其一为FP4量化技术，针对模型MoE架构特点，仅对占绝大多数参数的专家层执行无损FP4量化，其余模块保留原始精度，在缩减内存占用、缓解带宽压力的同时，保证模型综合能力基本不变。
其二是DFlash区块并行推测解码，摒弃传统串行解码模式，单次可预测一整段文本区块，在代码、数理推理等场景平均单轮可确认6-7个token，大幅提升解码效率。
其三依靠TileRT推理系统，重构GPU执行架构，采用持久化内核与异构流水线，消除算子切换带来的延迟，让硬件算力持续满负荷运转。
极速推理能力也重塑了AI应用场景，超高速度支持模型并行推演、自主纠错，提升逻辑推理质量；大幅缓解代码生成的等待卡顿，释放编程智能体生产力；同时让万亿参数大模型落地高频量化交易、实时反欺诈、医疗影像分析等毫秒级实时决策场景。
小米发布MiMo-V2.5-Pro-UltraSpeed：生成速度提升10倍！突破1000 tokens/s
【本文结束】如需转载请务必注明出处：快科技
0 留言