萌币圈游戏工作室

当前位置:首页 » 区快链资讯 » 24小时快讯 »  正文»DeepSeek开源GPU算子库DeepGEMM大版本更新,新增Mega MoE将MoE五步运算融合为单个kernel

DeepSeek开源GPU算子库DeepGEMM大版本更新,新增Mega MoE将MoE五步运算融合为单个kernel

据 动察 Beating 监测,DeepSeek 今天发布 DeepGEMM 开源以来最大一次更新。这个去年 2 月「开源周」期间发布的 GPU 算子库,原本只做 FP8 矩阵乘法,现在扩展为覆盖大模型推理关键环节的完整算子库,支持 FP8、FP4、BF16 多种精度的矩阵运算,以及 MoE 和注意力评分等专用算子。

核心新增是 Mega MoE。MoE(混合专家)架构是 DeepSeek V3 等模型的基础,推理时需要依次执行五个步骤:EP 分发、第一层线性变换、SwiGLU 激活、第二层线性变换、EP 合并。传统做法是五个独立 kernel 依次调用,每次调用都要等上一步完成、数据在显存里搬来搬去。Mega MoE 把这五步融合成一个 kernel,让 NVLink 通信和 Tensor Core 计算同时进行,省去中间的等待和数据搬运。目前仅支持 FP8×FP4 精度组合,需要 PyTorch 2.9 及以上版本,团队表示仍在优化中,性能对比数据将稍后公布。

其他新增包括:FP8×FP4 混合精度矩阵乘法、支持更大 MTP 的 FP4 注意力评分算子(Indexer)、PDL(程序化依赖启动,一种减少 kernel 启动延迟的 GPU 调度优化)、更快的 JIT 编译速度,以及对 MoE 矩阵运算的多项优化。此次更新还适配了 DeepEPv2 的 MoE 数据布局。

PR 说明中特别注明:「本次发布仅与 DeepGEMM 开发相关,与内部模型发布无关。」

🚀 主流数字货币交易所推荐

安全稳定的交易平台 | 新用户注册享专属福利

Binance币安交易所LOGO

Binance 币安

全球最大加密货币交易所

立即注册 下载APP
OKX欧易交易所LOGO

OKX 欧易

老牌知名数字资产平台

立即注册 下载APP
Bybit交易所LOGO

Bybit

专业合约交易平台

立即注册 下载APP

⚠️ 风险提示:数字货币交易存在风险,请理性投资,谨慎决策

上一篇: NVIDIA's Lite Hash Rate Version 3 unlocked in 90%
下一篇: Huobi Live is Live Broadcasting Bitcoin Pizza Day !!

猜你喜欢


高佣联盟怎么挣钱?我已经达成月入3万光辉成就

高佣联盟怎么挣钱?我已经达成月入3万光辉成就

  至今,琼瑶都秉持着一个人生信念:如果没有过人的天赋和技能,那就勤奋点努力点!尤其在了解过这个特立独行的宝妈之后,你会发现她精于选择的人生态度实在不愧对于她目前在高佣所取得成功。       编者语       我是琼瑶,来自福建泉州,往详细里说,古建之乡一 惠安。       《爱拼才会赢》,作为一首广而传...

优惠券怎么做才能赚钱?地推为成功助力

优惠券怎么做才能赚钱?地推为成功助力

我正式加入高佣联盟这个正能量满满的大家庭!并在师傅,团队伙伴和如简的帮助支持下,从一个标准的宝妈小白,凭借高佣联盟“让生活更优惠,让创业更简单”的大爱平台,到如今159w+团队,终于打拼出属于自己的一片天空!感谢帮助过我的所有人,滴水之恩,永远铭记于心!...

当了7年全职宝妈,纯小白起步的教程

当了7年全职宝妈,纯小白起步的教程

但有了宝宝后就做了全职宝妈,一做就是七年。这七年,除了把我培养的颇懂如何带娃养娃之外,其他的职场技能似乎消失殆尽。当我想重新赚钱的时候,与社会长期脱轨带来的自我怀疑,让我陷入了迷茫,而高佣联盟的出现,让我看到了能找回曾经的自己的希望...

手机赚钱:轻松实现财务自由的机会

手机赚钱:轻松实现财务自由的机会

 导语:如今,手机已经成为人们生活中不可或缺的一部分,随着科技的进步,手机不仅仅是用来沟通的工具,更是赚钱的利器。通过手机赚钱不仅可以增加收入,还能实现财务自由,让生活更加丰富多彩。本文将介绍一些手机赚钱的方法,帮助读者找到适合自己的赚钱方式。     正文:1.在线调查:许多市场调查公司会通过手机应用邀请用户参与调查,并支付一定的报酬。用户只需花费一些时间回答问题,就能获得相应的奖励。通过参与在线调查,不仅能够赚...

安卓手机如何赚钱

安卓手机如何赚钱

安卓手机作为智能手机的一种,随着科技的发展和普及,已经成为人们生活中不可或缺的一部分。除了作为通信工具和娱乐设备外,安卓手机还可以成为一种赚钱的工具。下面我将为您详细介绍如何利用安卓手机赚钱的方法。 在线调查:安卓手机上有许多可以参与的在线调查平台,注册并完成调查任务后,您可以获得一定的报酬。这种方式需要花费一些时间和精力,但相对来说较为简单,适合想要利用碎片时间赚取一些零花钱的人。 应用试玩:...

宝贝支付可信吗?是真是假?

宝贝支付可信吗?是真是假?

宝贝支付现在在支付行业火的不要不要的,越来越多的传统POS机代理商加入,很多用户体验了一次以后也再也不愿意用POS机了,因为太方便了,费率也比机子低,但毕竟POS机在国内发展了10多年,每年交易量破百万亿,要让用户使用宝贝支付完成刷卡交易还有一个很漫长的过程,很多用户没有使用过手机POS机,觉得不可信,那么宝贝支付可信吗?是真是假?今天宝贝支付小朗哥为你揭秘!   先来看看公司情况。宝贝支付是上海飞付信息科技有限公...

信用卡取现手续费最低的方法:手机POS机小额费率0.38%

信用卡取现手续费最低的方法:手机POS机小额费率0.38%

用卡取现手续费最低的方法:手机POS机小额0.38%,可以的,不过有两种取现形式。 第一种是额度取现,就是把信用卡的预借现金额度取出,取现额度通常不超过信用卡总额度的50%,银行是会收取手 续费和利息的。另外一种就是溢缴款取现,这个就是用户把多余的钱存到信用卡当中,这笔钱是可以取现的,但是也 会产生手续费。所以不建议把钱存到信用卡当中的,不仅会没有利息甚至取现有限制,并且会产生手续费。 手机取现才最划算手续费最低&h...

会员中心

联系我们

  • 微信商务号
  • QQ交流1群
  • 联系站长
二维码