5 月 7 日消息,腾讯技术团队针对 DeepSeek 开源的 DeepEP 通信框架进行深度优化,使其在多种网络环境下均实现显著性能提升。
经测试,优化后的通信框架性能在 RoCE 网络环境提升 100%,IB 网络环境提升 30%,为企业开展 AI 大模型训练提供更高效的解决方案。
该技术方案获得了 DeepSeek 公开致谢,称这是一次“huge speedup”代码贡献。
注:DeepEP 是一个为专家混合(MoE)和专家并行(EP)量身定制的通信库。它提供高吞吐量和低延迟的全对全 GPU 内核,这些内核也被称为 MoE 派发和组合。该库还支持低精度运算,包括 FP8。
据悉,腾讯星脉网络团队在 DeepEP 开源后便展开技术攻关,发现两大关键瓶颈:一是对于双端口网卡带宽利用率不足,二是 CPU 控制面交互存在时延。
在腾讯的技术优化下,DeepEP 不仅在 RoCE 网络实现性能翻倍,反哺到 IB(InfiniBand)网络时更使原有通信效率再提升 30%。
目前,该技术已全面开源,并成功应用于腾讯混元大模型等项目的训练推理,在腾讯星脉与 H20 服务器构建的环境中,这套方案展现出出色的通用性。
该内容转自IT之家
本文共 334 个字数,平均阅读时长 ≈ 1分钟
喜欢就支持一下吧
本站为个人博客,博客所发布的一切破解补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的。
不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。
本站信息来自网络,版权争议与本站无关,您必须在下载后的24个小时之内从您的电脑中彻底删除上述内容。
访问和下载本站内容,说明您已同意上述条款。
本站不贩卖软件,所有内容不作为商业行为。如果有侵犯您的权益请点击“关于”联系WFXL,核实后会及时删除
版权属于:新闻发布
作品采用《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权
评论 抢沙发