收藏文章 楼主
绕过了CUDA?DeepSeek的论文惹争议
网友【chuang】 2025-01-29 14:05:38 分享在【时代发展的印记】版块    1    22

英伟达刚刚从DeepSeek-R1引发的4万亿元暴跌中缓过劲来,又面临新的压力?

网友分享在meiguo.com上的图片

硬件媒体Tom‘s Hardware带来开年最新热议:

DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。

网友分享在meiguo.com上的图片

这一次是DeepSeek-V3论文中的更多细节,被人挖掘出来。

来自Mirae Asset Securities Research(韩国未来资产证券)的分析称,V3的硬件效率之所以能比Meta等高出10倍,可以总结为“他们从头开始重建了一切”。

在使用英伟达的H800 GPU训练DeepSeek-V3时,他们针对自己的需求把132个流式多处理器(SMs)中的20个修改成负责服务器间的通信,而不是计算任务

变相绕过了硬件对通信速度的限制。

网友分享在meiguo.com上的图片
DeepSeek-V3 Technical Report

这种操作是用英伟达的PTX(Parallel Thread Execution)语言实现的,而不是CUDA。

PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分配和Thread/Warp级别的调整。

这种编程非常复杂且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。

换句话说,他们把优化做到了极致。

有网友表示,如果有一群人嫌CUDA太慢而使用PTX,那一定是前量化交易员。

网友分享在meiguo.com上的图片

一位亚马逊工程师提出灵魂质问:CUDA是否还是护城河?这种顶尖实验室可以有效利用任何GPU。

网友分享在meiguo.com上的图片

甚至有网友开始畅想,如果“新源神”DeepSeek开源了一个CUDA替代方案……

网友分享在meiguo.com上的图片

那么事情是否真会如此?

DeepSeek真的绕过了CUDA?

首先要明确的是,PTX仍然是英伟达GPU架构中的技术,它是CUDA编程模型中的中间表示,用于连接CUDA高级语言代码和GPU底层硬件指令。

PTX类似汇编语言,代码大概长这样:

网友分享在meiguo.com上的图片
来自tinkerd.net

在实际编译流程中,CUDA代码首先被编译为PTX代码,PTX代码再被编译为目标GPU架构的机器码(SASS,Streaming ASSembler)。

CUDA起到了提供高级编程接口和工具链的作用,可以简化开发者的工作。而PTX作为中间层,充当高级语言和底层硬件之间的桥梁。

另外,这种两步编译流程也使得CUDA程序具有跨架构的兼容性和可移植性。

反过来说,像DeepSeek这种直接编写PTX代码的做法,首先不仅非常复杂,也很难移植到不同型号的GPU。

有从业者表示,针对H100优化的代码迁移到其他型号上可能效果打折扣,也可能根本不工作了。

网友分享在meiguo.com上的图片

所以说,DeepSeek做了PTX级别的优化不意味着完全脱离了CUDA生态,但确实代表他们有优化其他GPU的能力。

事实上,我们也能看到DeekSeek已经与AMD、华为等团队紧密合作,第一时间提供了对其他硬件生态的支持。

网友分享在meiguo.com上的图片

One More Thing

还有人提出,如此一来,让AI擅长编写汇编语言是AI自我改进的一个方向。

网友分享在meiguo.com上的图片

我们不知道DeepSeek内部是否使用AI辅助编写了PTX代码——

但是确实刚刚见证DeepSeek-R1编写的代码显著提升大模型推理框架的运行速度

Llama.cpp项目中的一个新PR请求,使用SIMD指令(允许一条指令同时处理多个数据)显著提升WebAssembly在特定点积函数上的运行速度,提交者表示:

这个PR中的99%的代码都是由DeekSeek-R1编写的。我唯一做的就是开发测试和编写提示(经过一些尝试和错误)。

是的,这个PR旨在证明大模型现在能够编写良好的底层代码,甚至能够优化自己的代码。

网友分享在meiguo.com上的图片

llama.cpp项目的创始人检查了这段代码后表示“比预期的更爆炸”。

网友分享在meiguo.com上的图片

参考链接:
[1] https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead
[2] https://x.com/bookwormengr/status/1883355712191123666
[3] https://tinkerd.net/blog/machine-learning/cuda-basics/
[4] https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html
[5] https://x.com/ggerganov/status/1883888097185927311

编译:梦晨、西风

出处:见配图右下角

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

22   2025-01-29 14:05:38  回复

回复/评论:绕过了CUDA?DeepSeek的论文惹争议

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 鲁比奥声称将会收紧中国留学生的签证审批政策
  2. 美国房价仍然高位,“美国梦”成奢望!
  3. 美国国会通过了减税法案,马斯克和川普总统再次激烈交锋!
  4. 马斯克声称川普在“爱泼斯坦名单”,白宫回应:局面令人遗憾!
  5. 健身网红在飞机上的着装引争议
  6. 美国“非法移民家庭”遣返行动引发了“婴幼儿无国籍”的危机
  7. 比尔盖茨的财富突然蒸发了510亿美元,真相却令人肃然起敬!
  8. 中美两国元首针对当下双边关系和经贸合作,☎️通话交流!
  9. 美国移民新机遇:紧缺人才的绿卡通道“无需排期”
  10. “全球最强护照”排行榜又更新了(2025版)
  11. 手机充电习惯是影响电池寿命的根本原因
  12. 川普总统宣布“金卡计划”网站开放
  13. 美国再次宣布退出联合国教科文组织
  14. 遥控器电池,被幼儿误吞… 欧系保险公司赔付了近1.4亿元人民币!
  15. 川普和马斯克的公开交锋升级了
  16. 属于中国的世纪可能已经到来
  17. 马斯克的“130天政府生涯”终结后…
  18. 川普总统声称希望中国“增加美油采购”
  19. 川普政府计划改革移民签证制度和入籍考试
  20. 韦伯望远镜(JWST)发布迄今为止最大的早期宇宙地图
  21. 川普政府打算“发钱啦”
  22. QQ等级256级用户诞生,首次解锁“时光企鹅”图标!
  23. 孩子沉迷手机的真相和破局之道
  24. 萝莉岛是美国的政治中心?马斯克并非不懂政治,而是太懂了!
  25. 美国新法案“大漂亮”引发了全球资本配置大调整
  26. 世界瞩目的电话,十个不寻常的细节剖析!
  27. 英伟达的市值突破了四万亿美元,创人类历史纪录!
  28. 马斯克打算组建新党“美国党”代表中间派
  29. 难怪马斯克公开认错… 川普总统的相关杀器可以更多?
  30. 中国政府在构筑战略资源防线,重拳打击稀土走私!
  31. 能熟练运用AI也不行?硅谷的40万人在近期被炒鱿鱼
  32. 互联网女皇“340页AI报告”猛料刷屏
  33. 任天堂的Switch 2正式发售,参数细节全曝光!
  34. 宗庆后家族的多处海外房产曝光,价值数亿元!
  35. 川普总统批评支持者,马斯克激烈回应!
  36. 美国暂停了学生签证预约,申请者在社交媒体平台的活动须谨慎!

美国动态 美果搜索

Your IP: 216.73.216.124, 2025-07-31 01:22:46

Processed in 0.08769 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(22) 分享
分享
取消