Transformer竟然可以根据文本描述从视频中抠图了?
网友【chuang】 2022-04-08 21:28:10 分享在【Vlog创作交流】版块    1    5

都说Transformer适合处理多模态任务。

这不,在视频目标分割领域,就有人用它同时处理文本和视帧,提出了一个结构更简单、处理速度更快(每秒76帧)的视频实例分割框架。

这个框架只需一串文本描述,就可以轻松将视频中的动态目标“抠”出来:

网友分享在meiguo.com上的图片

可以实现端到端训练的它,在基准测试中的多个指标上表现全部优于现有模型。

目前,相关论文已被CVPR 2022接收,研究人员来自以色列理工学院。

网友分享在meiguo.com上的图片

主要思路

根据文本描述进行视频目标分割这一多模态任务(RVOS),需要结合文本推理、视频理解、实例分割和跟踪技术。

现有的方法通常依赖复杂的pipeline来解决,很难形成一个端到端的简便好用的模型。

随时CV和NLP领域的发展,研究人员意识到,视频和文本可以同时通过单个多模态Transformer模型进行有效处理。

为此,他们提出了这个叫做MTTR (Multimodal Tracking Transformer)的新架构,将RVOS任务建模为序列(sequence)预测问题。

网友分享在meiguo.com上的图片

首先,输入的文本和视频帧被传递给特征编码器进行特征提取,然后将两者连接成多模态序列(每帧一个)。

接着,通过多模态Transformer对两者之间的特征关系进行编码,并将实例级(instance-level )特征解码为一组预测序列。

接下来,生成相应的mask和参考预测序列。

最后,将预测序列与基准(ground truth,在有监督学习中通常指代样本集中的标签)序列进行匹配,以供训练过程中的监督或用于在推理过程中生成最终预测。

具体来说,对于Transformer输出的每个实例序列,系统会生成一个对应的mask序列。

为了实现这一点,作者采用了类似FPN(特征金字塔网络)的空间解码器和动态生成的条件卷积核。

而通过一个新颖的文本参考分数函数,该函数基于mask和文本关联,就可以确定哪个查询序列与文本描述的对象具有最强的关联,然后返回其分割序列作为模型的预测。

精度优于所有现有模型

作者在三个相关数据集上对MTTR进行了性能测试:JHMDB-Sentences、 A2D-Sentences和Refer-YouTube-VOS。

前两个数据集的衡量指标包括IoU(交并比,1表示预测框与真实边框完全重合)、平均IoU和precision@K(预测正确的相关结果占所有结果的比例)。

结果如下:

网友分享在meiguo.com上的图片

可以看到,MTTR在所有指标上都优于所有现有方法,与SOTA模型相比,还在第一个数据集上提高了4.3的mAP值(平均精度)。

顶配版MTTR则在平均和总体IoU指标上实现了5.7的mAP增益,可以在单个RTX 3090 GPU上实现每秒处理76帧图像。

MTTR在JHMDBs上的结果表明MTTR也具备良好的泛化能力。

更具挑战性的Refer-YouTube-VOS数据集的主要评估指标为区域相似性(J)和轮廓精度(F)的平均值。

MTTR在这些指标上全部“险胜”。

网友分享在meiguo.com上的图片

一些可视化结果表明,即使在目标对象被类似实例包围、被遮挡或完全超出画面等情况下,MTTR都可以成功地跟踪和分割文本引用的对象。

网友分享在meiguo.com上的图片

最后,作者表示,希望更多人通过这项成果看到Transformer在多模态任务上的潜力。

最最后,作者也开放了两个试玩通道,感兴趣的同学可以戳文末链接~

网友分享在meiguo.com上的图片
Colab试玩效果

试玩地址:
https://huggingface.co/spaces/akhaliq/MTTR
https://colab.research.google.com/drive/12p0jpSx3pJNfZk-y_L44yeHZlhsKVra-?usp=sharing

论文地址:
https://arxiv.org/abs/2111.14821

代码已开源:
https://github.com/mttr2021/MTTR

出处:见配图水印

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

5   2022-04-08 21:28:10  回复

回复/评论:Transformer竟然可以根据文本描述从视频中抠图了?

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. Zillow和Redfin“摊上大事儿”!五大州的总检察长起诉了房产平台合谋做局
  2. 联邦法院驳回了川普政府的“出生公民权”行政令
  3. 联合国大会“史上最尴尬”一幕:他上台后,观众纷纷撤离!
  4. 中美两国在马德里谈判,聚焦TikTok和关税问题!
  5. 美国“风行者”超大运输机计划曝光
  6. 福建舰“电磁弹射系统技术”获全球关注
  7. 中美贸易的争端升级,中国实施“长臂管辖”颁布3项针对性措施!
  8. 美国签证新规:申请人须回母国面谈
  9. 在美国买房半年后,总结了两个扎心感受!
  10. 中美航班“绕行俄罗斯领空”政策引关注
  11. TikTok美国业务的“合规运营”方案细节披露
  12. 美国司法部起诉了柬埔寨“电信诈骗集团”的头目
  13. 美股市值突破“全球GDP半数”大关
  14. 马斯克的净资产创纪录,突破5000亿美元!
  15. 谷歌的科学家已经连续两年摘得了诺贝尔奖
  16. 华人购房遭遇国籍歧视,法院裁决后依然隐忧犹存!
  17. 川普政策变动,竟然催生了智利的生育旅游热潮?
  18. 川普政府“双失利”?
  19. 大学排名更新:顶尖学府稳固,新兴学校快速上升
  20. 美国众议院通过了巨额军费预算,马斯克警示财政风险!
  21. 川普总统在联合国演讲,声称中国不愿用风力发电?
  22. 马斯克成为全球首位身家5000亿美元的富豪
  23. 美国的七大都会区“房市调头”,买方作主了!
  24. 最高法院裁定:支持川普政府的移民执法政策
  25. 川普政府打算发放两千美元的关税补贴
  26. 骨胶水的研发获突破,临床试验显示了安全有效!
  27. 中国AI芯片产业迎来了技术突破和生态崛起
  28. 佛罗里达的一名中学生在AI提问,然后被捕了!
  29. 中美元首长“电话粥”,聚焦经贸和TikTok合作!
  30. 中美因为“稀土管制”引发的贸易摩擦升级了
  31. 母亲给大一女儿恋爱八项要求
  32. 毅力号火星车揭示了杰泽罗陨石坑的水活动历史
  33. 马斯克的模块化生产技术在革新汽车行业
  34. 我的人生有三个账户!伊隆·马斯克在斯坦福大学的最新演讲
  35. 川普总统签署了备忘录,贩毒集团成为“国家之敌”!
  36. 川普总统宣布加沙战争结束,峰会聚焦“中东和平”!

美国动态 美果搜索

Your IP: 216.73.216.27, 2025-10-22 22:39:25

Processed in 0.0834 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(5) 分享
分享
取消