收藏文章 楼主
英伟达的新算法可最高节省90%流量
网友【了不起】 2020-12-03 06:11:23 分享在【时代发展的印记】版块    1    1

为了让网速慢的用户用上高清通话,英伟达可谓绞尽脑汁。他们开发的新AI算法,可以将视频通话的流量最高压缩90%以上。

网友分享在meiguo.com上的图片

和其他视频相比,通话的场景比较单一,基本上只有人的头部在运动。因此只要能把头像数据大规模压缩,就能大大节约流量。

网友分享在meiguo.com上的图片

英伟达的新算法face vid2vid正是从这一点出发。只要一张图片,就能实现重建各种头部姿势图片。

H.264视频所需的带宽是这种新算法的2~12倍,从前面的演示也能看出,如果让二者使用相同比特率,那么H.264视频几乎不可用。

网友分享在meiguo.com上的图片
转动面部不扭曲

英伟达提供了一个试用Demo,可以在Pitch(俯仰角)、Yaw(偏航角)、Roll(翻滚角)三个方向上任意旋转。

网友分享在meiguo.com上的图片

输入一张人脸,最多可以在每个方向上最多旋转30度。以下是三个方向上旋转到最大角度生成的图片。

网友分享在meiguo.com上的图片

与相比之前的方法,英伟达的这种技术即使在面部转动幅度较大时,人脸也不会扭曲变形。

网友分享在meiguo.com上的图片

然而,图片终究是不动的,要把生成的人脸放在运动的视频中还要多一个步骤。

合成面部视频

我们把上传的清晰照片作为源图像,从中获取外貌特征。然后把视频中一帧帧画面作为重构视频的依据,从中提取出面部表情和头部姿势等信息。

而表情和姿势这两个数据可以通过关键点进行编码,这样就分离了人物身份信息和运动信息。在传输视频时只要有运动信息即可,从而节约了流量。

网友分享在meiguo.com上的图片

从源图像s中,我们得到了两组数据:关键点坐标x和雅可比矩阵J。这两组参数与面部的具体特征无关,只包含人的几何特征。

其中,雅可比矩阵表示如何通过仿射变换将关键点周围的局部补丁转换为另一幅图像中的补丁。如果是恒等雅可比矩阵,则补丁将直接复制并粘贴到新位置。

网友分享在meiguo.com上的图片

下图展示了计算前5个关键点的流程。给定源图像以及模型预测的规范关键点。

网友分享在meiguo.com上的图片

从运动视频估计的旋转和平移应用于关键点,带动头部姿势的变化。然后可以感知表情的变形将关键点调整为目标表情。

接下来开始合成视频。使用源和运动的关键点与其雅可比矩阵来估计流wk,从生成流组合成掩码m,将这两组进行线性组合即可产生合成流场w。

网友分享在meiguo.com上的图片

接着输入人脸面部特征f,即可生成输出图像y。

这种方法不仅能用于视频通话,也有其他“新玩法”。

比如觉得人物头像有点歪,可以手动输入纠正后的数据,从而将面部转正。

网友分享在meiguo.com上的图片

又或者是,把一个人的面部特征点和雅可比矩阵用于另一个人,实现面部视频动作的迁移。

网友分享在meiguo.com上的图片

团队简介

这篇文章的第一作者是来自英伟达的高级研究员Ting-Chun Wang。

网友分享在meiguo.com上的图片

文章的通讯作者是英伟达的著名研究员刘洺堉。

网友分享在meiguo.com上的图片

如果你长期关注CV领域,一定对这两位作者非常熟悉。他们在图像风格迁移、GAN等方面做出了大量的工作。

网友分享在meiguo.com上的图片
△ GauGAN

两人之前已经有过多次合作。比如。无监督图像迁移网络(NIPS 2017),还有从涂鸦生成照片的GauGAN(CVPR 2019),都是出自这二位之手。

项目页面: https://nvlabs.github.io/face-vid2vid/

论文地址: https://arxiv.org/abs/2011.15126

出处:见配图水印

meiguo.com 发布人签名/座右铭仰望我所仰望!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

1   2020-12-03 06:11:23  回复

回复/评论:英伟达的新算法可最高节省90%流量

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 伊隆·马斯克在“We, Robot”三连发:Cybercab、Robovan及Optimus!
  2. 完整曝光:美国前总统【川普(特朗普)】遭遇刺客的前前后后
  3. 五星红旗在月球背面升起!阿波罗登月遭遇再度质疑?
  4. 漂亮国再次遣返中国移民,这批有131人!
  5. 号外:伊隆·马斯克的第11个孩子出生了
  6. “极右翼”控制移民政策!特朗普政府的内阁名单曝光
  7. 美国房市降温?待售房屋开始下调要价!
  8. 新罕布什尔州的一位女子在领取彩金的现场捐出5000万美元
  9. 巨型公司:市值已超3.5万亿美元,约合18个阿里巴巴!
  10. 福建人在纽约:有多少人通过走线(偷渡)到纽约的?
  11. 珠海航展:轰20的先行版遭遇美国酸溜溜了
  12. 关于美国的社保(全面解读)
  13. 《潜望》对话李开复:如果美国形成AGI霸权,中国咋办?
  14. 在加州海滩捡蛤蜊,72个罚9万美元!
  15. 佛罗里达遭遇的飓风可以影响到美国大选结果?
  16. 碧昂斯和巨石强森这样的美国巨星在大选中,如何站队的?
  17. 移民故事:入赘美国的河南保安【蔡小华】现状
  18. 世上只有男人和女人!~ 特朗普总统:上帝只创造了两种性别,无其它!
  19. 悲惨回顾:美国历史上的十大枪击案盘点
  20. 人身安全“没保障”的原因?赴美留学的趋势遇冷
  21. 关于美国大学的学费开支
  22. 关于EVUS的填写心得和常见问题
  23. “走线”路不通了?拜登政府颁布最严边境令?
  24. 坐火车“游览全美国”的14条线路盘点
  25. 中国防长:“谁胆敢把台湾从中国分裂出去,必将粉身碎骨、自取灭亡”
  26. 能决定2024选举结果?特朗普即将放大招了!
  27. 《黑神话:悟空》发行仅3小时后竟然就这样了!
  28. 回归之王:唐纳德·特朗普“赢得又大又快”
  29. 拆解:太精致啦!到底是苹果M4 Mac mini牛?还是华强北更牛?
  30. 深入剖析:性在人类交往中的作用
  31. 加州公司的市值盘点 top10
  32. 从旧金山到洛杉矶,美国西部旅行的完整实录
  33. 美国人口流动数据剖析:年轻富有群体搬家去哪儿了?
  34. 苹果公司在2024秋季的新品发布会(懒人速览)
  35. 宁愿混居美国,华人姑娘袒露了不愿回国的真相!
  36. 中国人即将登月!

美国动态 美果转盘 美果商店

Your IP: 18.226.17.210, 2024-11-25 02:28:04

Processed in 0.82272 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(1) 分享
分享
取消