Transformer竟然可以根据文本描述从视频中抠图了?
网友【chuang】 2022-04-08 21:28:10 分享在【Vlog创作交流】版块    1    5

都说Transformer适合处理多模态任务。

这不,在视频目标分割领域,就有人用它同时处理文本和视帧,提出了一个结构更简单、处理速度更快(每秒76帧)的视频实例分割框架。

这个框架只需一串文本描述,就可以轻松将视频中的动态目标“抠”出来:

网友分享在meiguo.com上的图片

可以实现端到端训练的它,在基准测试中的多个指标上表现全部优于现有模型。

目前,相关论文已被CVPR 2022接收,研究人员来自以色列理工学院。

网友分享在meiguo.com上的图片

主要思路

根据文本描述进行视频目标分割这一多模态任务(RVOS),需要结合文本推理、视频理解、实例分割和跟踪技术。

现有的方法通常依赖复杂的pipeline来解决,很难形成一个端到端的简便好用的模型。

随时CV和NLP领域的发展,研究人员意识到,视频和文本可以同时通过单个多模态Transformer模型进行有效处理。

为此,他们提出了这个叫做MTTR (Multimodal Tracking Transformer)的新架构,将RVOS任务建模为序列(sequence)预测问题。

网友分享在meiguo.com上的图片

首先,输入的文本和视频帧被传递给特征编码器进行特征提取,然后将两者连接成多模态序列(每帧一个)。

接着,通过多模态Transformer对两者之间的特征关系进行编码,并将实例级(instance-level )特征解码为一组预测序列。

接下来,生成相应的mask和参考预测序列。

最后,将预测序列与基准(ground truth,在有监督学习中通常指代样本集中的标签)序列进行匹配,以供训练过程中的监督或用于在推理过程中生成最终预测。

具体来说,对于Transformer输出的每个实例序列,系统会生成一个对应的mask序列。

为了实现这一点,作者采用了类似FPN(特征金字塔网络)的空间解码器和动态生成的条件卷积核。

而通过一个新颖的文本参考分数函数,该函数基于mask和文本关联,就可以确定哪个查询序列与文本描述的对象具有最强的关联,然后返回其分割序列作为模型的预测。

精度优于所有现有模型

作者在三个相关数据集上对MTTR进行了性能测试:JHMDB-Sentences、 A2D-Sentences和Refer-YouTube-VOS。

前两个数据集的衡量指标包括IoU(交并比,1表示预测框与真实边框完全重合)、平均IoU和precision@K(预测正确的相关结果占所有结果的比例)。

结果如下:

网友分享在meiguo.com上的图片

可以看到,MTTR在所有指标上都优于所有现有方法,与SOTA模型相比,还在第一个数据集上提高了4.3的mAP值(平均精度)。

顶配版MTTR则在平均和总体IoU指标上实现了5.7的mAP增益,可以在单个RTX 3090 GPU上实现每秒处理76帧图像。

MTTR在JHMDBs上的结果表明MTTR也具备良好的泛化能力。

更具挑战性的Refer-YouTube-VOS数据集的主要评估指标为区域相似性(J)和轮廓精度(F)的平均值。

MTTR在这些指标上全部“险胜”。

网友分享在meiguo.com上的图片

一些可视化结果表明,即使在目标对象被类似实例包围、被遮挡或完全超出画面等情况下,MTTR都可以成功地跟踪和分割文本引用的对象。

网友分享在meiguo.com上的图片

最后,作者表示,希望更多人通过这项成果看到Transformer在多模态任务上的潜力。

最最后,作者也开放了两个试玩通道,感兴趣的同学可以戳文末链接~

网友分享在meiguo.com上的图片
Colab试玩效果

试玩地址:
https://huggingface.co/spaces/akhaliq/MTTR
https://colab.research.google.com/drive/12p0jpSx3pJNfZk-y_L44yeHZlhsKVra-?usp=sharing

论文地址:
https://arxiv.org/abs/2111.14821

代码已开源:
https://github.com/mttr2021/MTTR

出处:见配图水印

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

5   2022-04-08 21:28:10  回复

回复/评论:Transformer竟然可以根据文本描述从视频中抠图了?

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 王毅定调了中国统一,马英九发出了战争预警!
  2. DOGE让1.4万公务员失业?马斯克已经做好最坏心理准备!
  3. “复活版”TikTok“拿捏了”美国人的软肋?
  4. 男性精液质量和预期寿命“真有关系”
  5. SpaceX在13小时内3连发,全力拯救被困宇航员!
  6. 华人害华人!涉及1500万美元的芝加哥“大型持枪绑架案”嫌疑人半数落网
  7. DeepSeek已经让成人玩具“率先受益”
  8. 23岁中国女留学生在南加州的住所内遇害,曾控诉白人男友“性虐待”!
  9. 中国电影市场的2025春节档 ~ 简直就是神仙打架
  10. 在美国买房,看Open House时需要注意的问题汇总
  11. 泽连斯基和川普、万斯在白宫当众吵架,饭都没吃着!
  12. 遭遇“断粮”的BBC叛变了?
  13. 李嘉诚在全球的港口“几乎清仓”,套现190亿美元!
  14. 滞留美国的华裔非法移民“遭遇流放”,首批119人已起飞!
  15. 全美境内,非法移民“驱逐战”打响了!
  16. 滞留太空的NASA宇航员即将返回地球
  17. 大S【徐熙媛】病逝,享年48岁!
  18. 陆地入境美国受阻,“华人偷渡客”已经改用快艇登陆了?
  19. 美国首都机场为何全美风险最高?川普总统“怒喷航管弱智”
  20. 川普总统在开工首日就向1300万非法移民动手了
  21. 美国留学的政策大变?众多名校陷入财政危机,扩招中国学生?
  22. 川普总统首次公开回应“TRUMP”数字货币项目
  23. 美国“H1B签证”新一轮抽签在3月份开启,新变化真不少!
  24. 重庆妹子“盯美国男人不放”,前后嫁给美国医生和美国律师!
  25. 福布斯曝光了Deepseek 梁文锋的净资产
  26. 在美国生活,这四证缺一不可!
  27. 美签面签后的全面复盘:审核原因和拒签因素剖析
  28. 时至2025年3月中旬,地球上最顶尖的五大芯片品牌,均由华人掌舵!
  29. 美国房产的保值要点,但却被九成华人买家忽视了!
  30. 北美留学生注意,美国和加拿大即将共享所有移民和签证讯息!
  31. 赵本山在纽约:前排票价1400美元,团队聚餐画面曝光!
  32. 赴美生子的中国人在纠结剖不剖?美国人在寻思“移民鹤岗”呢!
  33. 川普政府的“朝令夕改”最短纪录再次刷新
  34. 风向有变?🇨🇳中央召开民企座谈会,寓意深刻!
  35. 《纽约时报》刊登的中国父子文章:为何送儿子留学美国
  36. 谷歌地图和苹果地图已经都修改了美国湾(墨西哥湾)

美国动态 美果转盘 美果商店

Your IP: 18.118.186.251, 2025-03-29 15:47:59

Processed in 0.86241 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(5) 分享
分享
取消