3 月 14 日消息,清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布,大模型推理引擎“赤兔 Chitu”现已开源。
据介绍,该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”,提供如下特性:
多元算力适配:不仅支持 NVIDIA 最新旗舰到旧款的多系列产品,也为国产芯片提供优化支持。
全场景可伸缩:从纯 CPU 部署、单 GPU 部署到大规模集群部署,赤兔引擎提供可扩展的解决方案。
长期稳定运行:可应用于实际生产环境,稳定性足以承载并发业务流量。
官方表示,当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时,在 A800 集群的测试中,相比部分国外开源框架,实现了 GPU 使用量减少 50% 的同时,推理速度提升 3.15 倍。
附开源地址:https://github.com/thu-pacman/chitu
该内容转自IT之家
本文共 286 个字数,平均阅读时长 ≈ 1分钟
喜欢就支持一下吧
本站为个人博客,博客所发布的一切破解补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的。
不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。
本站信息来自网络,版权争议与本站无关,您必须在下载后的24个小时之内从您的电脑中彻底删除上述内容。
访问和下载本站内容,说明您已同意上述条款。
本站不贩卖软件,所有内容不作为商业行为。如果有侵犯您的权益请点击“关于”联系WFXL,核实后会及时删除
版权属于:轩灵
作品采用《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
评论 抢沙发