Transformer竟然可以根据文本描述从视频中抠图了?
网友【chuang】 2022-04-08 21:28:10 分享在【Vlog创作交流】版块    1    5

都说Transformer适合处理多模态任务。

这不,在视频目标分割领域,就有人用它同时处理文本和视帧,提出了一个结构更简单、处理速度更快(每秒76帧)的视频实例分割框架。

这个框架只需一串文本描述,就可以轻松将视频中的动态目标“抠”出来:

网友分享在meiguo.com上的图片

可以实现端到端训练的它,在基准测试中的多个指标上表现全部优于现有模型。

目前,相关论文已被CVPR 2022接收,研究人员来自以色列理工学院。

网友分享在meiguo.com上的图片

主要思路

根据文本描述进行视频目标分割这一多模态任务(RVOS),需要结合文本推理、视频理解、实例分割和跟踪技术。

现有的方法通常依赖复杂的pipeline来解决,很难形成一个端到端的简便好用的模型。

随时CV和NLP领域的发展,研究人员意识到,视频和文本可以同时通过单个多模态Transformer模型进行有效处理。

为此,他们提出了这个叫做MTTR (Multimodal Tracking Transformer)的新架构,将RVOS任务建模为序列(sequence)预测问题。

网友分享在meiguo.com上的图片

首先,输入的文本和视频帧被传递给特征编码器进行特征提取,然后将两者连接成多模态序列(每帧一个)。

接着,通过多模态Transformer对两者之间的特征关系进行编码,并将实例级(instance-level )特征解码为一组预测序列。

接下来,生成相应的mask和参考预测序列。

最后,将预测序列与基准(ground truth,在有监督学习中通常指代样本集中的标签)序列进行匹配,以供训练过程中的监督或用于在推理过程中生成最终预测。

具体来说,对于Transformer输出的每个实例序列,系统会生成一个对应的mask序列。

为了实现这一点,作者采用了类似FPN(特征金字塔网络)的空间解码器和动态生成的条件卷积核。

而通过一个新颖的文本参考分数函数,该函数基于mask和文本关联,就可以确定哪个查询序列与文本描述的对象具有最强的关联,然后返回其分割序列作为模型的预测。

精度优于所有现有模型

作者在三个相关数据集上对MTTR进行了性能测试:JHMDB-Sentences、 A2D-Sentences和Refer-YouTube-VOS。

前两个数据集的衡量指标包括IoU(交并比,1表示预测框与真实边框完全重合)、平均IoU和precision@K(预测正确的相关结果占所有结果的比例)。

结果如下:

网友分享在meiguo.com上的图片

可以看到,MTTR在所有指标上都优于所有现有方法,与SOTA模型相比,还在第一个数据集上提高了4.3的mAP值(平均精度)。

顶配版MTTR则在平均和总体IoU指标上实现了5.7的mAP增益,可以在单个RTX 3090 GPU上实现每秒处理76帧图像。

MTTR在JHMDBs上的结果表明MTTR也具备良好的泛化能力。

更具挑战性的Refer-YouTube-VOS数据集的主要评估指标为区域相似性(J)和轮廓精度(F)的平均值。

MTTR在这些指标上全部“险胜”。

网友分享在meiguo.com上的图片

一些可视化结果表明,即使在目标对象被类似实例包围、被遮挡或完全超出画面等情况下,MTTR都可以成功地跟踪和分割文本引用的对象。

网友分享在meiguo.com上的图片

最后,作者表示,希望更多人通过这项成果看到Transformer在多模态任务上的潜力。

最最后,作者也开放了两个试玩通道,感兴趣的同学可以戳文末链接~

网友分享在meiguo.com上的图片
Colab试玩效果

试玩地址:
https://huggingface.co/spaces/akhaliq/MTTR
https://colab.research.google.com/drive/12p0jpSx3pJNfZk-y_L44yeHZlhsKVra-?usp=sharing

论文地址:
https://arxiv.org/abs/2111.14821

代码已开源:
https://github.com/mttr2021/MTTR

出处:见配图水印

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

5   2022-04-08 21:28:10  回复

回复/评论:Transformer竟然可以根据文本描述从视频中抠图了?

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. iPhone 17系列新品、iPhone Air发布了!
  2. 马斯克“xAI”起诉前工程师“泄露机密”
  3. 美国的七大都会区“房市调头”,买方作主了!
  4. 在美国生活半年,真实观察了文化差异!
  5. 中国留学生在入境美国时遭遇盘查,中方大使馆发布安全提醒!
  6. 从美国回到中国的,基本都会被问及这些问题!
  7. 母亲给大一女儿恋爱八项要求
  8. 休斯顿机场“小黑屋内的铝箔纸”:中国留学生遭遇遣返的36小时煎熬
  9. 福建舰“电磁弹射系统技术”获全球关注
  10. 美国签证新规“取消第三国面签”的选项了
  11. 美国宣传制裁东南亚的19个电信诈骗网络实体
  12. 启程回国:美元很香,但回家的路更香!
  13. 中国AI芯片产业迎来了技术突破和生态崛起
  14. 马斯克的净资产创纪录,突破5000亿美元!
  15. 中美元首长“电话粥”,聚焦经贸和TikTok合作!
  16. 麦当劳CEO声称美国品牌的声誉在全球下滑
  17. 美国众议院通过了巨额军费预算,马斯克警示财政风险!
  18. 中美两国在马德里谈判,聚焦TikTok和关税问题!
  19. TikTok美国业务的“合规运营”方案细节披露
  20. SpaceX的星舰“第十次试飞”成功了
  21. YouTube“反诈频道”助力警方,破获6500万美元诈骗案!
  22. 从近期的中国留学生在美国入境的悲惨遭遇说起
  23. Niche发布2026全美最佳大学榜单 MIT重回榜首
  24. 毅力号火星车揭示了杰泽罗陨石坑的水活动历史
  25. 不输常春藤!盘点学费低、薪资高的25所美国公立大学
  26. 川普总统的“科技巨头宴”收获千亿级的投资承诺
  27. 最高法院裁定:支持川普政府的移民执法政策
  28. 美国市场的智能手机“印度制造”的份额激增
  29. 相差3米!星舰试飞“精准溅落”展现技术突破
  30. 美国签证新规:申请人须回母国面谈
  31. 美股市值突破“全球GDP半数”大关
  32. 李开复:如果老板不AI,公司将会被AI淘汰!
  33. 敌友即友?马斯克和扎克伯格开始接触,图谋合伙收购OpenAI?
  34. 中国留学生在入境美国时遭遇驱逐,禁止五年内再入境!
  35. 美国“真放宽”了对中国留学生的入境政策?
  36. 川普政策变动,竟然催生了智利的生育旅游热潮?

美国动态 美果搜索

Your IP: 216.73.216.158, 2025-10-02 03:48:16

Processed in 0.66435 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(5) 分享
分享
取消