Transformer竟然可以根据文本描述从视频中抠图了?
网友【chuang】 2022-04-08 21:28:10 分享在【Vlog创作交流】版块    1    5

都说Transformer适合处理多模态任务。

这不,在视频目标分割领域,就有人用它同时处理文本和视帧,提出了一个结构更简单、处理速度更快(每秒76帧)的视频实例分割框架。

这个框架只需一串文本描述,就可以轻松将视频中的动态目标“抠”出来:

网友分享在meiguo.com上的图片

可以实现端到端训练的它,在基准测试中的多个指标上表现全部优于现有模型。

目前,相关论文已被CVPR 2022接收,研究人员来自以色列理工学院。

网友分享在meiguo.com上的图片

主要思路

根据文本描述进行视频目标分割这一多模态任务(RVOS),需要结合文本推理、视频理解、实例分割和跟踪技术。

现有的方法通常依赖复杂的pipeline来解决,很难形成一个端到端的简便好用的模型。

随时CV和NLP领域的发展,研究人员意识到,视频和文本可以同时通过单个多模态Transformer模型进行有效处理。

为此,他们提出了这个叫做MTTR (Multimodal Tracking Transformer)的新架构,将RVOS任务建模为序列(sequence)预测问题。

网友分享在meiguo.com上的图片

首先,输入的文本和视频帧被传递给特征编码器进行特征提取,然后将两者连接成多模态序列(每帧一个)。

接着,通过多模态Transformer对两者之间的特征关系进行编码,并将实例级(instance-level )特征解码为一组预测序列。

接下来,生成相应的mask和参考预测序列。

最后,将预测序列与基准(ground truth,在有监督学习中通常指代样本集中的标签)序列进行匹配,以供训练过程中的监督或用于在推理过程中生成最终预测。

具体来说,对于Transformer输出的每个实例序列,系统会生成一个对应的mask序列。

为了实现这一点,作者采用了类似FPN(特征金字塔网络)的空间解码器和动态生成的条件卷积核。

而通过一个新颖的文本参考分数函数,该函数基于mask和文本关联,就可以确定哪个查询序列与文本描述的对象具有最强的关联,然后返回其分割序列作为模型的预测。

精度优于所有现有模型

作者在三个相关数据集上对MTTR进行了性能测试:JHMDB-Sentences、 A2D-Sentences和Refer-YouTube-VOS。

前两个数据集的衡量指标包括IoU(交并比,1表示预测框与真实边框完全重合)、平均IoU和precision@K(预测正确的相关结果占所有结果的比例)。

结果如下:

网友分享在meiguo.com上的图片

可以看到,MTTR在所有指标上都优于所有现有方法,与SOTA模型相比,还在第一个数据集上提高了4.3的mAP值(平均精度)。

顶配版MTTR则在平均和总体IoU指标上实现了5.7的mAP增益,可以在单个RTX 3090 GPU上实现每秒处理76帧图像。

MTTR在JHMDBs上的结果表明MTTR也具备良好的泛化能力。

更具挑战性的Refer-YouTube-VOS数据集的主要评估指标为区域相似性(J)和轮廓精度(F)的平均值。

MTTR在这些指标上全部“险胜”。

网友分享在meiguo.com上的图片

一些可视化结果表明,即使在目标对象被类似实例包围、被遮挡或完全超出画面等情况下,MTTR都可以成功地跟踪和分割文本引用的对象。

网友分享在meiguo.com上的图片

最后,作者表示,希望更多人通过这项成果看到Transformer在多模态任务上的潜力。

最最后,作者也开放了两个试玩通道,感兴趣的同学可以戳文末链接~

网友分享在meiguo.com上的图片
Colab试玩效果

试玩地址:
https://huggingface.co/spaces/akhaliq/MTTR
https://colab.research.google.com/drive/12p0jpSx3pJNfZk-y_L44yeHZlhsKVra-?usp=sharing

论文地址:
https://arxiv.org/abs/2111.14821

代码已开源:
https://github.com/mttr2021/MTTR

出处:见配图水印

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

5   2022-04-08 21:28:10  回复

回复/评论:Transformer竟然可以根据文本描述从视频中抠图了?

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 美国暂停了学生签证预约,申请者在社交媒体平台的活动须谨慎!
  2. 中美两国元首针对当下双边关系和经贸合作,☎️通话交流!
  3. 川普总统:加拿大可以免费加入“金穹”导弹防御系统
  4. 川普家族“哈佛风波”和签证政策的突变
  5. 任天堂的Switch 2正式发售,参数细节全曝光!
  6. 美国企业在强化回归办公室的工作要求
  7. 中美各自取消91%关税!为防🇺🇸川普政府反悔,🇨🇳重申关键问题!
  8. 能熟练运用AI也不行?硅谷的40万人在近期被炒鱿鱼
  9. 川普政府的关税政策或将加速中国崛起,助力中国成为全球的经济主导力量!
  10. 英国2岁男童竟然刷新了门萨俱乐部“最年轻男性”会员纪录
  11. 美国联邦调查局警示:“新型医疗保险”骗局泛滥
  12. 世界瞩目的电话,十个不寻常的细节剖析!
  13. 美国政府“管不着”加州?纽森州长说继续做中国生意!
  14. 旅居海外十几年,母亲是心头之痛!
  15. 判刑15年!发币ICO的定性为诈骗
  16. 马斯克声称川普在“爱泼斯坦名单”,白宫回应:局面令人遗憾!
  17. 中美通话的内容简短,但意味深长!
  18. “蜗居”纽约的中国穷人:男女同住,毫无私隐… 却坚持不肯回国
  19. 美国的州排名出炉,犹他州连续三年领先!
  20. 在美国,千万别做的这些事盘点!
  21. 金星地壳似乎剧烈变化了,NASA即将启动新任务探索求证!
  22. 马斯克的“130天政府生涯”终结后…
  23. 盖茨列出了10项改变世界的技术名单
  24. 韦伯望远镜(JWST)发布迄今为止最大的早期宇宙地图
  25. 属于中国的世纪可能已经到来
  26. 川普和马斯克的公开交锋升级了
  27. 嘴唇经常干裂起皮,或许并非缺水!
  28. 美国“非法移民家庭”遣返行动引发了“婴幼儿无国籍”的危机
  29. 全球AI人才的争夺战白热化,顶尖研究员成为了科技巨头争夺焦点
  30. 美国房价仍然高位,“美国梦”成奢望!
  31. 中美贸易战的谈判再起,稀土贸易成为焦点
  32. 出乎全世界意料,中美两国的“2025日内瓦谈判”太亲密了吧?
  33. 互联网女皇“340页AI报告”猛料刷屏
  34. 美国对华为“HarmonyOS”采取行动,引发科技领域的新争议!
  35. 鲁比奥声称将会收紧中国留学生的签证审批政策
  36. 手机充电习惯是影响电池寿命的根本原因

美国动态 美果搜索

Your IP: 216.73.216.129, 2025-06-26 09:25:33

Processed in 0.07044 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息