当今的计算机视觉技术是否足够强大,可以为各个领域的照片生成文字说明?这就是LinkedIn的科学家在过去几年中一直在研究的问题,他们为自动添加到LinkedIn的图像添加建议的替代文字描述的工具。
这方面最有挑战的是标题的主观性。最好的方法要求对各种对象及其属性具有广泛的专业知识,以及可以利用基于时间的信息更准确地识别所描绘活动。
为了解决这些障碍,该团队利用了Cognitive Services的Analyze API来开发一项功能,该功能可以为把照片按置信度得分排名生成替代文字描述。然后,他们招募了人工评估人员,通过将得分(由其他文字的描述,类别和标签提供的信息)与自己编写的标签进行核对,从而对其表现进行评分。
该团队还开发了一个元分类器,可以起到纠正作用,并过滤影响用户体验的文本描述。该模型参考了标签分类法、相关的词典以及与LinkedIn提要帖子相关的其他文本。
感兴趣可以阅读:
https://venturebeat.com/2019/10/10/linkedins-ai-generates-photo-captions-automatically/