4 月 30 日消息，小米大模型团队通过“Xiaomi MiMo”公众号宣布，今天，小米开源首个“为推理而生”的大模型 Xiaomi MiMo，联动预训练到后训练，全面提升推理能力。据介绍，MiMo 是来自全新成立不久的“小米大模型 Core 团队”的初步尝试。
在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，MiMo 仅用7B 的参数规模，超越了 OpenAI 的闭源推理模型o1-mini和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。
官方表示，MiMo 推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动，包括：
预训练：核心是让模型见过更多推理模式
数据：着重挖掘富推理语料，并合成约 200B tokens 推理数据。
训练：进行了三阶段训练，逐步提升训练难度，总训练 25T tokens。
后训练：核心是高效稳定的强化学习算法和框架
算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定 RL 训练。
框架：设计了 Seamless Rollout 系统，使得 RL 训练加速 2.29 倍，验证加速 1.96 倍。
附开源地址：
Hugging Face：https://huggingface.co/XiaomiMiMo
技术报告：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
该内容转自IT之家
本文共 311 个字数,平均阅读时长 ≈ 1分钟
喜欢就支持一下吧
本站为个人博客，博客所发布的一切破解补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的。
不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站信息来自网络，版权争议与本站无关，您必须在下载后的24个小时之内从您的电脑中彻底删除上述内容。
访问和下载本站内容，说明您已同意上述条款。
本站不贩卖软件，所有内容不作为商业行为。如果有侵犯您的权益请点击“关于”联系WFXL，核实后会及时删除
版权属于：新闻发布
作品采用《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
评论 抢沙发
