全球首个知识增强的多模态预训练模型，百度ERNIE-ViL超越谷歌登顶权威榜单

赋予机器“认知”能力一直以来便是人工智能中最具挑战的难题，如今这个难题随着百度ERNIE新模型的推出而逐渐有了一个较为清晰的答案。

近日，百度提出了知识增强的视觉-语言预训练模型ERNIE-ViL，首次将场景图知识融入多模态预训练，大幅提升了机器“理解人类”的能力。该模型不仅取得了5项多模态任务的最优解(SOTA)，更是超越Google、Facebook等科技巨头，登顶国际权威榜单——视觉常识推理任务榜(VCR)。

夜以继日的攻坚，让百度ERNIE此次在多模态语义理解领域取得了重大突破，不仅为多模态语义理解领域研究提供了新的思路，而且赋予了机器更加强大的“认知”能力，让AI技术的适用性进一步得到加强，为赋能各行各业提供了坚实的技术基础。

超越Google、Facebook，百度ERNIE再度登顶

从诞生至今，百度ERNIE已经取得了一系列傲人的战绩。先是登顶自然语言处理领域最权威的GLUE评测榜单，后豪取全球规模最大的语义评测比赛 SemEval 5项世界冠军，再到如今超越Google、Facebook，摘得业内权威榜单——视觉常识推理(Visual Commonsense Reasoning)任务榜桂冠，百度ERNIE实力由此可见一斑。

视觉常识推理任务是华盛顿大学2018年提出，旨在验证多模态模型高阶认知和常识推理的能力，其榜是单多模态领域最权威的排行榜之一。

视觉常识推理示意图

该榜单的产生也颇具趣味性，其是由华盛顿大学和艾伦人工智能研究所的研究者联合创建了一个数据集，包含了十几万道专门为机器准备的类似“看图问答”的测试题，以考验人工智能在这方面的能力。

可别小瞧“看图问答”的难度，虽然对于人类来说，数据集里面的题目轻轻松松就能拿下90多分，但对于机器来说，却有着不小的难度，在数据集刚出来的时候，表现最好的人工智能训练模型也不过60多分。

而这则吸引了微软、谷歌、Facebook等公司及UCLA、佐治亚理工学院等顶尖机构参与，纷纷发起挑战，由此形成了VCR排行榜(VCR Leaderboard)。此次百度ERNIE-ViL也参战在列，并且凭借强大的实力一举夺得单模型第一的成绩，并在Q->AR联合任务上以领先榜单第二名3.7个百分点的成绩登顶，力压谷歌、Facebook等顶尖科技公司一头。

除此之外，百度ERNIE-ViL在视觉问答、跨模态图片检索、 跨模态文本检索、 引用表达式理解等5项任务上也刷新了SOTA结果，这意味着百度的相关算法已实现当前最优。

硬核技术，让机器更懂人类

无论是夺得排行榜第一，还是刷新5项SOTA，都彰显了此次百度提出的多模态模型ERNIE-ViL在技术层面的硬核。

一直以来，让机器具备像人类一样的理解和思考能力是科研人竭力想要攻破的难题，而这需要机器具备语言、语音、视觉等多模态语义理解能力。此次百度提出的模型ERNIE-ViL，其将场景图知识融入到视觉-语言模型的预训练过程中，显著增强了机器跨模态的语义理解能力。

视觉-语言预训练技术的目标是让人工智能学习视觉-语言模态之间的语义对齐，通俗来说，就是让人工智能更准确地描述出场景中的内容，也就是“看图说话”。而现有的预训练方法尚处早期，使得机器只能简单识别视觉场景中的物体，而无法详述其属性(如颜色)以及物体之间的联系(如上下)。

百度ERNIE-ViL的提出则填补了这一技术空白，依托于ERNIE-ViL，机器不仅可以识别场景图中物体，还可识别属性以及物体之间的关联，极大提升了机器的“识图”能力。

该项技术突破，大幅提升了AI听懂、看懂、理解环境的能力，进一步拓宽了其应用场景。如果说原来的人工智能只能运用于基础工作，如今，依托于百度ERNIE，人工智能将进一步推动在各行各业的应用，比如人机交互、搜索引擎、用户风控等场景，提升行业效率。

值得一提的是，百度ERNIE-ViL还可以根据上下文对场景中的物体、属性、关系进行常识推理，这意味机器已经可以充分理解事物之间的联系。事实也的确如此，相比于其他语言-视觉模型，百度ERNIE-ViL在预测文中表述的细粒度语义词(物体、属性、关系)时，表现更为优越，准确率分别提升了2.12%、1.31% 和 6.00%。

短短一年多时间，依托百度大脑和百度飞桨强大的技术平台能力以及庞大的数据资源，百度ERNIE完成了多次迭代，同时在自然语言生成、语言-视觉等方面推出了全新的模型，提供多模态语义理解研究新思路的同时，极大推动了人工智能技术的发展。

深入理解语言，赋予机器“认知”能力，让机器真正具备人类的思考和理解能力意义重大，这是推动人工智能更好、更快落地的关键之处。随着百度ERNIE技术的不断迭代，以及不断探索多模态语义理解领域新的方向，未来人工智能不仅能更好的“理解”人类的意思，还能完成更高阶的“表达”，以此推动人工智能技术赋能实体产业，加快国家步入智能化时代的步伐。