收藏文章 楼主
绕过了CUDA?DeepSeek的论文惹争议
网友【chuang】 2025-01-29 14:05:38 分享在【时代发展的印记】版块    1    22

英伟达刚刚从DeepSeek-R1引发的4万亿元暴跌中缓过劲来,又面临新的压力?

网友分享在meiguo.com上的图片

硬件媒体Tom‘s Hardware带来开年最新热议:

DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。

网友分享在meiguo.com上的图片

这一次是DeepSeek-V3论文中的更多细节,被人挖掘出来。

来自Mirae Asset Securities Research(韩国未来资产证券)的分析称,V3的硬件效率之所以能比Meta等高出10倍,可以总结为“他们从头开始重建了一切”。

在使用英伟达的H800 GPU训练DeepSeek-V3时,他们针对自己的需求把132个流式多处理器(SMs)中的20个修改成负责服务器间的通信,而不是计算任务

变相绕过了硬件对通信速度的限制。

网友分享在meiguo.com上的图片
DeepSeek-V3 Technical Report

这种操作是用英伟达的PTX(Parallel Thread Execution)语言实现的,而不是CUDA。

PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分配和Thread/Warp级别的调整。

这种编程非常复杂且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。

换句话说,他们把优化做到了极致。

有网友表示,如果有一群人嫌CUDA太慢而使用PTX,那一定是前量化交易员。

网友分享在meiguo.com上的图片

一位亚马逊工程师提出灵魂质问:CUDA是否还是护城河?这种顶尖实验室可以有效利用任何GPU。

网友分享在meiguo.com上的图片

甚至有网友开始畅想,如果“新源神”DeepSeek开源了一个CUDA替代方案……

网友分享在meiguo.com上的图片

那么事情是否真会如此?

DeepSeek真的绕过了CUDA?

首先要明确的是,PTX仍然是英伟达GPU架构中的技术,它是CUDA编程模型中的中间表示,用于连接CUDA高级语言代码和GPU底层硬件指令。

PTX类似汇编语言,代码大概长这样:

网友分享在meiguo.com上的图片
来自tinkerd.net

在实际编译流程中,CUDA代码首先被编译为PTX代码,PTX代码再被编译为目标GPU架构的机器码(SASS,Streaming ASSembler)。

CUDA起到了提供高级编程接口和工具链的作用,可以简化开发者的工作。而PTX作为中间层,充当高级语言和底层硬件之间的桥梁。

另外,这种两步编译流程也使得CUDA程序具有跨架构的兼容性和可移植性。

反过来说,像DeepSeek这种直接编写PTX代码的做法,首先不仅非常复杂,也很难移植到不同型号的GPU。

有从业者表示,针对H100优化的代码迁移到其他型号上可能效果打折扣,也可能根本不工作了。

网友分享在meiguo.com上的图片

所以说,DeepSeek做了PTX级别的优化不意味着完全脱离了CUDA生态,但确实代表他们有优化其他GPU的能力。

事实上,我们也能看到DeekSeek已经与AMD、华为等团队紧密合作,第一时间提供了对其他硬件生态的支持。

网友分享在meiguo.com上的图片

One More Thing

还有人提出,如此一来,让AI擅长编写汇编语言是AI自我改进的一个方向。

网友分享在meiguo.com上的图片

我们不知道DeepSeek内部是否使用AI辅助编写了PTX代码——

但是确实刚刚见证DeepSeek-R1编写的代码显著提升大模型推理框架的运行速度

Llama.cpp项目中的一个新PR请求,使用SIMD指令(允许一条指令同时处理多个数据)显著提升WebAssembly在特定点积函数上的运行速度,提交者表示:

这个PR中的99%的代码都是由DeekSeek-R1编写的。我唯一做的就是开发测试和编写提示(经过一些尝试和错误)。

是的,这个PR旨在证明大模型现在能够编写良好的底层代码,甚至能够优化自己的代码。

网友分享在meiguo.com上的图片

llama.cpp项目的创始人检查了这段代码后表示“比预期的更爆炸”。

网友分享在meiguo.com上的图片

参考链接:
[1] https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead
[2] https://x.com/bookwormengr/status/1883355712191123666
[3] https://tinkerd.net/blog/machine-learning/cuda-basics/
[4] https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html
[5] https://x.com/ggerganov/status/1883888097185927311

编译:梦晨、西风

出处:见配图右下角

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

22   2025-01-29 14:05:38  回复

回复/评论:绕过了CUDA?DeepSeek的论文惹争议

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 世界瞩目的电话,十个不寻常的细节剖析!
  2. 能熟练运用AI也不行?硅谷的40万人在近期被炒鱿鱼
  3. 在美国,千万别做的这些事盘点!
  4. 川普家族“哈佛风波”和签证政策的突变
  5. 美国对华为“HarmonyOS”采取行动,引发科技领域的新争议!
  6. 美国“非法移民家庭”遣返行动引发了“婴幼儿无国籍”的危机
  7. 出乎全世界意料,中美两国的“2025日内瓦谈判”太亲密了吧?
  8. 美国企业在强化回归办公室的工作要求
  9. 中美贸易战的谈判再起,稀土贸易成为焦点
  10. 任天堂的Switch 2正式发售,参数细节全曝光!
  11. 美国暂停了学生签证预约,申请者在社交媒体平台的活动须谨慎!
  12. 判刑15年!发币ICO的定性为诈骗
  13. 中美两国元首针对当下双边关系和经贸合作,☎️通话交流!
  14. 美国房价仍然高位,“美国梦”成奢望!
  15. 嘴唇经常干裂起皮,或许并非缺水!
  16. 盖茨列出了10项改变世界的技术名单
  17. 鲁比奥声称将会收紧中国留学生的签证审批政策
  18. 中美各自取消91%关税!为防🇺🇸川普政府反悔,🇨🇳重申关键问题!
  19. 韦伯望远镜(JWST)发布迄今为止最大的早期宇宙地图
  20. 属于中国的世纪可能已经到来
  21. 全球AI人才的争夺战白热化,顶尖研究员成为了科技巨头争夺焦点
  22. 美国政府“管不着”加州?纽森州长说继续做中国生意!
  23. “蜗居”纽约的中国穷人:男女同住,毫无私隐… 却坚持不肯回国
  24. 马斯克的“130天政府生涯”终结后…
  25. 美国联邦调查局警示:“新型医疗保险”骗局泛滥
  26. 川普总统:加拿大可以免费加入“金穹”导弹防御系统
  27. 中美通话的内容简短,但意味深长!
  28. 旅居海外十几年,母亲是心头之痛!
  29. 英国2岁男童竟然刷新了门萨俱乐部“最年轻男性”会员纪录
  30. 金星地壳似乎剧烈变化了,NASA即将启动新任务探索求证!
  31. 互联网女皇“340页AI报告”猛料刷屏
  32. 川普和马斯克的公开交锋升级了
  33. 川普政府的关税政策或将加速中国崛起,助力中国成为全球的经济主导力量!
  34. 马斯克声称川普在“爱泼斯坦名单”,白宫回应:局面令人遗憾!
  35. QQ等级256级用户诞生,首次解锁“时光企鹅”图标!
  36. 手机充电习惯是影响电池寿命的根本原因

美国动态 美果搜索

Your IP: 216.73.216.8, 2025-07-02 00:04:15

Processed in 0.08101 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息