OpenAI的七年元老、安全副总裁【Lilian Weng】官宣离职
网友【硅谷故事】 2024-11-09 22:31:32 分享在【美国信息交流】版块    1    2

网友分享在meiguo.com上的图片

就在刚刚,OpenAI再次痛失一员大将。

安全研究副总裁Lilian Weng正式官宣离职。

网友分享在meiguo.com上的图片

她发出离职长信,回顾了2017年时,自己对OpenAI的使命是多么着迷。

在GPT-4发布后,她又被赋予了一个全新使命:重新思考OpenAI安全系统的愿景。

o1-preview,就是她们团队的最新成果。

如今,在OpenAI工作七年后,她感觉‘是时候重新出发了’。

网友分享在meiguo.com上的图片

长期以来,Lilian Weng的博客篇篇都是精品,每每发出,都会引得圈内人士的大讨论。

网友分享在meiguo.com上的图片

OpenAI的前同事们,纷纷为她送上了祝福。

Jason Wei表示,感谢她做出的贡献,让o1-preview成为迄今为止最安全的模型。

网友分享在meiguo.com上的图片

OpenAI推理研究员、o1共同作者 Noam Brown祝福她,在下一个冒险中一切顺利。

网友分享在meiguo.com上的图片

OpenAI微调研究员Steven Heidel表示,期待她的下一篇博客文章。

网友分享在meiguo.com上的图片

前OpenAI首位开发者关系团队成员、现任谷歌高级产品经理Logan Kilpatrick则感谢她为推动安全使命所做的一切。

网友分享在meiguo.com上的图片

而Lilian Weng这次突然离职,或许也是长时间深思熟虑的结果。

比如维基媒体基金会机器学习总监在几天前的一条推文,似乎就暗示着她可能要离开。

网友分享在meiguo.com上的图片

离职信全文:我有时间写博客了

亲爱的朋友们,我做出了一个极其艰难的决定,那就是离开OpenAI。11月15日将是我在办公室的最后一天。

OpenAI是我作为科学家和领导者成长的地方,我将永远珍惜与每一位共事过和结识的同事在一起的时光。OpenAI团队一直是我的知己、良师益友,也是我个人身份的重要组成部分。

我依然清晰地记得2017年时,我对OpenAI的使命是多么着迷。那时,我们这群人梦想着一个看似不可能、宛如科幻的未来。

开始,我在这里研究的是全栈机器人挑战——从深度强化学习算法,到感知,再到固件——目标是教会单只机械手如何解开魔方。整个团队花了整整两年时间,但我们最终成功了。

当OpenAI进入GPT范式,我们开始探索如何将最佳AI模型部署到现实世界时,我建立了第一个‘应用研究团队’(Applied Research team)。团队推出了微调API、嵌入API和审核端点的初始版本,为应用安全工作奠定了基础,并为许多早期API客户提供了创新解决方案。

在GPT-4发布后,我被赋予了一项新的使命:重新思考OpenAI安全系统的愿景,并将工作集中在一个掌控完整安全堆栈的团队之下。这是我做过的最困难、最有压力,同时也是最令人兴奋的事情之一。

如今,安全系统团队拥有80多名出色的科学家、工程师、产品经理和政策专家,我为我们团队取得的一切感到无比自豪。我们共同成为每次重大发布的基石——从GPT-4及其视觉和turbo版本,到GPT商店、语音功能和01。

在训练这些模型既强大又负责任方面的工作上,我们树立了新的行业标准。我特别为我们最新的成就——o1-preview模型感到自豪,它是我们迄今为止最安全的模型,在保持其实用性的同时,表现出对‘越狱’攻击的卓越抵抗力。

我们取得的成功,十分令人瞩目:

我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或接受,通过遵循一套明确定义的模型安全行为政策,在安全性和实用性之间取得了良好的平衡。

我们在每次模型发布中都提高了对抗性鲁棒性,包括防御越狱、指令层级,并通过推理能力大大提高了模型的鲁棒性。

我们设计了严格而创新的评估方法,与准备框架保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。我们对透明度的承诺体现在我们详细的模型系统卡中。

我们开发了业界领先的具有多模态能力的审核模型,并免费与公众分享。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多安全工作流程提供支持。

我们为安全数据日志记录、指标、仪表板、主动学习管道、分类器部署、推理时过滤和新型快速响应系统奠定了工程基础。

回顾我们取得的成就,我为安全系统团队的每个成员感到无比自豪,我坚信团队将继续蓬勃发展。我由衷地感谢你们,你们是最棒的!

现在,在OpenAI工作了七年之后,我感觉是时候重新出发,探索新的领域了。OpenAI正处于火箭般的轨道上,我衷心祝愿这里的每个人一切顺利。

PS:我的博客仍然活跃,并将继续更新。我可能很快就有更多时间来更频繁地更新博客,或许还能抽出更多时间来编码。

OpenAI再失一位首席安全研究员

近几个月OpenAI俨然有了一种AI界‘黄埔军校’的味道。

首席技术官Mira Murati、首席研究官Bob McGrew、研究副总裁Barret Zoph、著名研究员Andrej Karpathy和联合创始人John Schulman纷纷离职。

其中一些人,包括Leike和Schulman,离职后加入了OpenAI的竞争对手Anthropic,而其他人则去创办了自己的企业。

随着Ilya Sutskever和Jan Leike的离开,以及超级对齐团队的解散。在Sam Altman眼中,OpenAI的安全团队似乎越来越不重要了。

网友分享在meiguo.com上的图片

现在,尽管AI安全团队规模可观(据称有超过80名相关的研究人员),但网友们反正是不相信OpenAI还会专心搞模型安全了……

网友分享在meiguo.com上的图片

10月,资深政策研究员Miles Brundage离开了OpenAI,并宣布公司正在解散他曾担任顾问的通用人工智能准备团队。

同一天,前OpenAI研究员Suchir Balaji也在专访中透露,表示离开OpenAI是因为他认为该公司的技术对社会带来的危害大于益处。

目前,OpenAI的公司高管和安全研究人员正在进行交接,以接替Weng的职位。

而其发言人表示,‘我们相信安全系统团队将继续在确保系统安全可靠方面发挥关键作用,为全球数亿用户提供服务。’

Lilian Weng:北大本科,高被引学者

Lilian Weng曾是OpenAI安全系统负责人,主要从事机器学习、深度学习等研究 。

网友分享在meiguo.com上的图片

Weng本科毕业于北京大学信息系统与计算机科学专业,曾前往香港大学进行短期交流,之后在印第安纳大学布鲁明顿(Indiana University Bloomington)分校获得博士学位。

网友分享在meiguo.com上的图片

博士期间,Weng的研究领域为复杂系统和网络,关注社交媒体、社交游戏、人机交互和复杂信息网络建模。

打开她的谷歌学术档案,还可以看到Weng曾经发表的关于模因和社交网络的论文。

网友分享在meiguo.com上的图片

她曾在eBay、Mozilla等公司做过用户分析方面的实习,之后‘转行’成功,进入Facebook和Dropbox从事软件工程和数据科学方面的工作。

2018年起,Weng加入OpenAI担任研究科学家,作为机器人团队的技术主管,专注于训练机器人任务的算法。

2021年,Weng负责领导应用人工智能的研究团队,并在2023年成为了安全团队的负责人。

今年8月,OpenAI将之前的安全团队负责人Aleksander Madry调任至一个专注于推理基础工作的团队。而原来Madry领导的安全团队转由Lilian Weng负责。

随后,Weng将同时管理专注于长期和短期AI安全的团队,这一组织决策令一些研究人员担心,因为长期和短期安全的激励措施可能会相互冲突。

网友分享在meiguo.com上的图片

值得一提的是,Weng在个人网站上撰写的博客文章非常受欢迎,基本都是万字长文,既有技术干货又有观点输出,是很多业内人士的参考。

接下来,让我们期待这位北大校友的更多成就,以及即将出现的干货博文吧。

作者:新智元

出处:头条号 @新浪财经

meiguo.com 发布人签名/座右铭立足美国硅谷,分享有关创业的所有故事!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

2   2024-11-09 22:31:32  回复

回复/评论:OpenAI的七年元老、安全副总裁【Lilian Weng】官宣离职

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 川普总统批评支持者,马斯克激烈回应!
  2. 中国政府在构筑战略资源防线,重拳打击稀土走私!
  3. 美国房价仍然高位,“美国梦”成奢望!
  4. 美国移民新机遇:紧缺人才的绿卡通道“无需排期”
  5. “全球最强护照”排行榜又更新了(2025版)
  6. 世界瞩目的电话,十个不寻常的细节剖析!
  7. 马斯克声称川普在“爱泼斯坦名单”,白宫回应:局面令人遗憾!
  8. 健身网红在飞机上的着装引争议
  9. 互联网女皇“340页AI报告”猛料刷屏
  10. 川普和马斯克的公开交锋升级了
  11. 比尔盖茨的财富突然蒸发了510亿美元,真相却令人肃然起敬!
  12. 手机充电习惯是影响电池寿命的根本原因
  13. 遥控器电池,被幼儿误吞… 欧系保险公司赔付了近1.4亿元人民币!
  14. 川普总统声称希望中国“增加美油采购”
  15. 属于中国的世纪可能已经到来
  16. 美国再次宣布退出联合国教科文组织
  17. 鲁比奥声称将会收紧中国留学生的签证审批政策
  18. QQ等级256级用户诞生,首次解锁“时光企鹅”图标!
  19. 英伟达的市值突破了四万亿美元,创人类历史纪录!
  20. 川普政府打算“发钱啦”
  21. 中美两国元首针对当下双边关系和经贸合作,☎️通话交流!
  22. 美国新法案“大漂亮”引发了全球资本配置大调整
  23. 任天堂的Switch 2正式发售,参数细节全曝光!
  24. 川普总统宣布“金卡计划”网站开放
  25. 难怪马斯克公开认错… 川普总统的相关杀器可以更多?
  26. 移民并非背叛,是一种勇敢的人生轨迹选择!
  27. 能熟练运用AI也不行?硅谷的40万人在近期被炒鱿鱼
  28. 美国“非法移民家庭”遣返行动引发了“婴幼儿无国籍”的危机
  29. 马斯克打算组建新党“美国党”代表中间派
  30. 宗庆后家族的多处海外房产曝光,价值数亿元!
  31. 韦伯望远镜(JWST)发布迄今为止最大的早期宇宙地图
  32. 马斯克的“130天政府生涯”终结后…
  33. 孩子沉迷手机的真相和破局之道
  34. 川普政府计划改革移民签证制度和入籍考试
  35. 美国国会通过了减税法案,马斯克和川普总统再次激烈交锋!
  36. 萝莉岛是美国的政治中心?马斯克并非不懂政治,而是太懂了!

美国动态 美果搜索

Your IP: 216.73.216.124, 2025-08-01 00:29:33

Processed in 0.16696 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(2) 分享
分享
取消