收藏文章 楼主
绕过了CUDA?DeepSeek的论文惹争议
网友【chuang】 2025-01-29 22:05:38 分享在【时代发展的印记】版块    1    12

英伟达刚刚从DeepSeek-R1引发的4万亿元暴跌中缓过劲来,又面临新的压力?

网友分享在meiguo.com上的图片

硬件媒体Tom‘s Hardware带来开年最新热议:

DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。

网友分享在meiguo.com上的图片

这一次是DeepSeek-V3论文中的更多细节,被人挖掘出来。

来自Mirae Asset Securities Research(韩国未来资产证券)的分析称,V3的硬件效率之所以能比Meta等高出10倍,可以总结为“他们从头开始重建了一切”。

在使用英伟达的H800 GPU训练DeepSeek-V3时,他们针对自己的需求把132个流式多处理器(SMs)中的20个修改成负责服务器间的通信,而不是计算任务

变相绕过了硬件对通信速度的限制。

网友分享在meiguo.com上的图片
DeepSeek-V3 Technical Report

这种操作是用英伟达的PTX(Parallel Thread Execution)语言实现的,而不是CUDA。

PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分配和Thread/Warp级别的调整。

这种编程非常复杂且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。

换句话说,他们把优化做到了极致。

有网友表示,如果有一群人嫌CUDA太慢而使用PTX,那一定是前量化交易员。

网友分享在meiguo.com上的图片

一位亚马逊工程师提出灵魂质问:CUDA是否还是护城河?这种顶尖实验室可以有效利用任何GPU。

网友分享在meiguo.com上的图片

甚至有网友开始畅想,如果“新源神”DeepSeek开源了一个CUDA替代方案……

网友分享在meiguo.com上的图片

那么事情是否真会如此?

DeepSeek真的绕过了CUDA?

首先要明确的是,PTX仍然是英伟达GPU架构中的技术,它是CUDA编程模型中的中间表示,用于连接CUDA高级语言代码和GPU底层硬件指令。

PTX类似汇编语言,代码大概长这样:

网友分享在meiguo.com上的图片
来自tinkerd.net

在实际编译流程中,CUDA代码首先被编译为PTX代码,PTX代码再被编译为目标GPU架构的机器码(SASS,Streaming ASSembler)。

CUDA起到了提供高级编程接口和工具链的作用,可以简化开发者的工作。而PTX作为中间层,充当高级语言和底层硬件之间的桥梁。

另外,这种两步编译流程也使得CUDA程序具有跨架构的兼容性和可移植性。

反过来说,像DeepSeek这种直接编写PTX代码的做法,首先不仅非常复杂,也很难移植到不同型号的GPU。

有从业者表示,针对H100优化的代码迁移到其他型号上可能效果打折扣,也可能根本不工作了。

网友分享在meiguo.com上的图片

所以说,DeepSeek做了PTX级别的优化不意味着完全脱离了CUDA生态,但确实代表他们有优化其他GPU的能力。

事实上,我们也能看到DeekSeek已经与AMD、华为等团队紧密合作,第一时间提供了对其他硬件生态的支持。

网友分享在meiguo.com上的图片

One More Thing

还有人提出,如此一来,让AI擅长编写汇编语言是AI自我改进的一个方向。

网友分享在meiguo.com上的图片

我们不知道DeepSeek内部是否使用AI辅助编写了PTX代码——

但是确实刚刚见证DeepSeek-R1编写的代码显著提升大模型推理框架的运行速度

Llama.cpp项目中的一个新PR请求,使用SIMD指令(允许一条指令同时处理多个数据)显著提升WebAssembly在特定点积函数上的运行速度,提交者表示:

这个PR中的99%的代码都是由DeekSeek-R1编写的。我唯一做的就是开发测试和编写提示(经过一些尝试和错误)。

是的,这个PR旨在证明大模型现在能够编写良好的底层代码,甚至能够优化自己的代码。

网友分享在meiguo.com上的图片

llama.cpp项目的创始人检查了这段代码后表示“比预期的更爆炸”。

网友分享在meiguo.com上的图片

参考链接:
[1] https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead
[2] https://x.com/bookwormengr/status/1883355712191123666
[3] https://tinkerd.net/blog/machine-learning/cuda-basics/
[4] https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html
[5] https://x.com/ggerganov/status/1883888097185927311

编译:梦晨、西风

出处:见配图右下角

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

12   2025-01-29 22:05:38  回复

回复/评论:绕过了CUDA?DeepSeek的论文惹争议

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 美签面签后的全面复盘:审核原因和拒签因素剖析
  2. 陆地入境美国受阻,“华人偷渡客”已经改用快艇登陆了?
  3. 谷歌地图和苹果地图已经都修改了美国湾(墨西哥湾)
  4. 《纽约时报》刊登的中国父子文章:为何送儿子留学美国
  5. 胃癌发病率和筷子🥢有关系?
  6. 中国电影市场的2025春节档 ~ 简直就是神仙打架
  7. 川普总统在开工首日就向1300万非法移民动手了
  8. 赴美生子的中国人在纠结剖不剖?美国人在寻思“移民鹤岗”呢!
  9. 遭遇“断粮”的BBC叛变了?
  10. 滞留美国的华裔非法移民“遭遇流放”,首批119人已起飞!
  11. 华人害华人!涉及1500万美元的芝加哥“大型持枪绑架案”嫌疑人半数落网
  12. 北美留学生注意,美国和加拿大即将共享所有移民和签证讯息!
  13. 川普总统正式接任,成为美国第47任总统
  14. 周受资 ~ 真正强大的CEO
  15. TikTok在美国全面恢复了
  16. 23岁中国女留学生在南加州的住所内遇害,曾控诉白人男友“性虐待”!
  17. 川普总统首次公开回应“TRUMP”数字货币项目
  18. 在美国买房,看Open House时需要注意的问题汇总
  19. 大S【徐熙媛】病逝,享年48岁!
  20. “复活版”TikTok“拿捏了”美国人的软肋?
  21. 福布斯曝光了Deepseek 梁文锋的净资产
  22. 以色列和哈马斯终于同意停火
  23. 川普政府的“朝令夕改”最短纪录再次刷新
  24. 中国企业在2025 CES“疯狂圈粉儿”
  25. 美国最高法院“无视了”川普的延期请求?TikTok在下周关闭了!
  26. 在美国生活,这四证缺一不可!
  27. 川普总统在接任首日或将推上百项行政命令
  28. 美国首都机场为何全美风险最高?川普总统“怒喷航管弱智”
  29. 赵本山在纽约:前排票价1400美元,团队聚餐画面曝光!
  30. 全美境内,非法移民“驱逐战”打响了!
  31. “TikTok难民”如何玩转中国社交网络?一夜间“小红书”刷屏全美
  32. 美军再次增建两艘新航母
  33. 风向有变?🇨🇳中央召开民企座谈会,寓意深刻!
  34. 为何大火一直“不放过”洛杉矶?
  35. DOGE让1.4万公务员失业?马斯克已经做好最坏心理准备!
  36. 在美国买房的省税攻略“十个妙招”

美国动态 美果转盘 美果商店

Your IP: 18.191.150.186, 2025-03-04 07:30:28

Processed in 0.61282 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(12) 分享
分享
取消