据 动察 Beating 监测,DeepSeek 今天发布 DeepGEMM 开源以来最大一次更新。这个去年 2 月「开源周」期间发布的 GPU 算子库,原本只做 FP8 矩阵乘法,现在扩展为覆盖大模型推理关键环节的完整算子库,支持 FP8、FP4、BF16 多种精度的矩阵运算,以及 MoE 和注意力评分等专用算子。
核心新增是 Mega MoE。MoE(混合专家)架构是 DeepSeek V3 等模型的基础,推理时需要依次执行五个步骤:EP 分发、第一层线性变换、SwiGLU 激活、第二层线性变换、EP 合并。传统做法是五个独立 kernel 依次调用,每次调用都要等上一步完成、数据在显存里搬来搬去。Mega MoE 把这五步融合成一个 kernel,让 NVLink 通信和 Tensor Core 计算同时进行,省去中间的等待和数据搬运。目前仅支持 FP8×FP4 精度组合,需要 PyTorch 2.9 及以上版本,团队表示仍在优化中,性能对比数据将稍后公布。
其他新增包括:FP8×FP4 混合精度矩阵乘法、支持更大 MTP 的 FP4 注意力评分算子(Indexer)、PDL(程序化依赖启动,一种减少 kernel 启动延迟的 GPU 调度优化)、更快的 JIT 编译速度,以及对 MoE 矩阵运算的多项优化。此次更新还适配了 DeepEPv2 的 MoE 数据布局。
PR 说明中特别注明:「本次发布仅与 DeepGEMM 开发相关,与内部模型发布无关。」
DeepSeek开源GPU算子库DeepGEMM大版本更新,新增Mega MoE将MoE五步运算融合为单个kernel
🚀 主流数字货币交易所推荐
安全稳定的交易平台 | 新用户注册享专属福利
⚠️ 风险提示:数字货币交易存在风险,请理性投资,谨慎决策
猜你喜欢
趣闲赚app赚钱靠谱吗?如何推广好友赚钱【多图】
如何推广好友赚钱呢?这个问题你可能不会了解是如何发生的,看小编为你了解一下吧,如何通过趣闲赚的软件推广教程吧,通过手机就能获得现金奖励的软件平台。...
高佣联盟怎么挣钱?我已经达成月入3万光辉成就
至今,琼瑶都秉持着一个人生信念:如果没有过人的天赋和技能,那就勤奋点努力点!尤其在了解过这个特立独行的宝妈之后,你会发现她精于选择的人生态度实在不愧对于她目前在高佣所取得成功。 编者语 我是琼瑶,来自福建泉州,往详细里说,古建之乡一 惠安。 《爱拼才会赢》,作为一首广而传...
优惠券怎么做才能赚钱?地推为成功助力
我正式加入高佣联盟这个正能量满满的大家庭!并在师傅,团队伙伴和如简的帮助支持下,从一个标准的宝妈小白,凭借高佣联盟“让生活更优惠,让创业更简单”的大爱平台,到如今159w+团队,终于打拼出属于自己的一片天空!感谢帮助过我的所有人,滴水之恩,永远铭记于心!...
加入高佣前,我从事过不同行业,稳居销售部第一
互联网行业正在以摧枯拉朽之势改变着越来越多的传统行业,高佣联盟作为国内导购电商的领头羊,它巨大的吸金能力满足了人们对金钱的渴望和追求美好生活的需求。在高佣,只要努力,有付出,就定会越做越好。...
高佣联盟是怎么赚钱的?每个月两三千的收入
高佣联盟对于我们宝妈来讲就是一个很好的事业,从不会辜负你的努力,自从做高佣,就像找到了依靠,遇到问题和想法,都会有公司帮忙解决!能遇到一个如此负责的团队,对我来说真的很是幸运!...
当了7年全职宝妈,纯小白起步的教程
但有了宝宝后就做了全职宝妈,一做就是七年。这七年,除了把我培养的颇懂如何带娃养娃之外,其他的职场技能似乎消失殆尽。当我想重新赚钱的时候,与社会长期脱轨带来的自我怀疑,让我陷入了迷茫,而高佣联盟的出现,让我看到了能找回曾经的自己的希望...
手机赚钱:轻松实现财务自由的机会
导语:如今,手机已经成为人们生活中不可或缺的一部分,随着科技的进步,手机不仅仅是用来沟通的工具,更是赚钱的利器。通过手机赚钱不仅可以增加收入,还能实现财务自由,让生活更加丰富多彩。本文将介绍一些手机赚钱的方法,帮助读者找到适合自己的赚钱方式。 正文:1.在线调查:许多市场调查公司会通过手机应用邀请用户参与调查,并支付一定的报酬。用户只需花费一些时间回答问题,就能获得相应的奖励。通过参与在线调查,不仅能够赚...
安卓手机如何赚钱
安卓手机作为智能手机的一种,随着科技的发展和普及,已经成为人们生活中不可或缺的一部分。除了作为通信工具和娱乐设备外,安卓手机还可以成为一种赚钱的工具。下面我将为您详细介绍如何利用安卓手机赚钱的方法。 在线调查:安卓手机上有许多可以参与的在线调查平台,注册并完成调查任务后,您可以获得一定的报酬。这种方式需要花费一些时间和精力,但相对来说较为简单,适合想要利用碎片时间赚取一些零花钱的人。 应用试玩:...
宝贝支付可信吗?是真是假?
宝贝支付现在在支付行业火的不要不要的,越来越多的传统POS机代理商加入,很多用户体验了一次以后也再也不愿意用POS机了,因为太方便了,费率也比机子低,但毕竟POS机在国内发展了10多年,每年交易量破百万亿,要让用户使用宝贝支付完成刷卡交易还有一个很漫长的过程,很多用户没有使用过手机POS机,觉得不可信,那么宝贝支付可信吗?是真是假?今天宝贝支付小朗哥为你揭秘! 先来看看公司情况。宝贝支付是上海飞付信息科技有限公...
信用卡取现手续费最低的方法:手机POS机小额费率0.38%
用卡取现手续费最低的方法:手机POS机小额0.38%,可以的,不过有两种取现形式。 第一种是额度取现,就是把信用卡的预借现金额度取出,取现额度通常不超过信用卡总额度的50%,银行是会收取手 续费和利息的。另外一种就是溢缴款取现,这个就是用户把多余的钱存到信用卡当中,这笔钱是可以取现的,但是也 会产生手续费。所以不建议把钱存到信用卡当中的,不仅会没有利息甚至取现有限制,并且会产生手续费。 手机取现才最划算手续费最低&h...


