for 知乎链接图标抓取
腾讯混元AI Infra核心技术开源
2026-02-05 08:55:00

新榜讯 2月4日消息,腾讯混元AI Infra团队今日正式推出开源生产级高性能大语言模型(LLM)推理核心算子库HPC-Ops。据腾讯混元介绍,在实际应用场景中,借助HPC-Ops,混元模型推理的每分钟查询量(QPM)提升了30%,DeepSeek模型QPM提升17%。此外,在单算子性能表现上,HPC-Ops成果显著:其实现的Attention算子性能较FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM算子相比DeepGEMM最高提升1.88倍;FusedMoE算子较TensorRT-LLM最高提升1.49倍。


原文链接:https://voice.newrank.cn/study/detail/31E325A3163D78CD
热门文章
热门标签
相关推荐
联系我们
邮箱:contact@newrank.cn
地址:四川省成都市武侯区大合仓星商界4栋2单元802
声量通服务号
关注服务号
newrank
· 高新技术企业 · 全国内容科技创新创业大赛第一名 · 上海文化企业十佳 · 复旦大学新闻学院提供全方位学术支持
©2021 NEWRANK