美团开源首发 INT8 无损满血版 DeepSeek R1，部署 A100 实现 50% 吞吐提升

3月7日发布 /正在检测是否收录...

0 86 20

3 月 7 日消息，美团搜推机器学习团队 3 月 4 日公布最新首发开源成果，实现对 DeepSeek R1 模型基本无损的 INT8 精度量化。

DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。

目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 实现 50% 吞吐提升。

附开源地址：

该内容转自IT之家

本文共 159 个字数,平均阅读时长 ≈ 1分钟

喜欢就支持一下吧

本站为个人博客，博客所发布的一切破解补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的。

不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。

本站信息来自网络，版权争议与本站无关，您必须在下载后的24个小时之内从您的电脑中彻底删除上述内容。

访问和下载本站内容，说明您已同意上述条款。

本站不贩卖软件，所有内容不作为商业行为。如果有侵犯您的权益请点击“关于”联系WFXL，核实后会及时删除