深度神经网络已经掌握了解决各种问题的方法——从识别、推理图像中的物体,到成为“围棋上帝”。随着这些任务变得越来越复杂,神经网络摸索出来的解决方法也变得越来越繁琐。
因为这个系统太复杂了,即使是设计该系统的工程师可能也无法分析出它发出某一指令的原因。当然,你也不能强求这个神经网络能够给出它下达每一个指令的原因:目前为止还没有一套能够让 AI 自己解释自己行为的系统。
实际上,这就是人工智能领域著名的“黑盒子”问题,随着神经网络在现实世界中的应用越来越广泛,对这一问题的研究也开始变得无比重要。对此,《麻省理工科技评论》曾以“人工智能核心地带的黑暗秘密”为题刊发专题文章,来深入探讨神经网络的不可解释性问题。
图丨《麻省理工科技评论》关于人工智能的“黑盒子”问题的封面文章
作为人工智能研究领域的先锋,DeepMind对“黑盒子”问题也在持续关注——目前,该团队正着手开发更多的工具,用于解释人工智能系统。6 月 26 日,在最新发布的一篇论文中,DeepMind提出了一种基于认知心理学来研究深度神经网络的新方法。
那么,什么是认知心理学?一般而言,该学科通过评估行为来推测认知机制,并涵盖了大量与认知机制相关的细节,同时还设计了很多实验来证明这些机制。随着神经网络在解决某些具体问题上的能力已经达到或超越人类水平,认知心理学的研究方法将与人工智能的黑盒子问题愈发相关。
为了证明这一点,DeepMind设计了一个实验来解释人类认知,从而帮助人类进一步了解深度神经网络是如何解决图像分类问题。
实验结果显示,认知心理学家观察到的人类行为,在深度网络中也有类似的体现。总体上说,实验的成功也证明,认知心理学完全可以用来帮助人们更好地理解深度学习系统。
在 DeepMind 的案例研究中,甚至考虑到了孩子们是如何辨识物体的,这是认知心理学的一大研究领域。
通常而言,孩子们从单个例子中猜测词语意思的能力,被称为“单次语义学习”(one-shot word learning)——这种认知能力看起来非常自然,会让人们觉得,这一过程其实没什么太复杂的机制。
然而,美国著名哲学家威拉德·奥曼·奎因多年前设计的一个经典思想实验,却向人们展示了这一过程到底有多复杂:
一个语言学家要去一个地方,但那里的语言和这个语言学家所使用的完全不一样。于是,这位语言学家想找一位当地人来学习一些本地语言中的词汇。这时,正巧有一只兔子从他们身边跑过,当地人脱口而出“gavagai”,于是语言学家就开始推测这个词的意思。
图丨“gavagai”到底指的是什么?
当然,这个词可能表示很多意思,可以是“兔子”、“白色的东西”,甚至指兔子身上的某一部位。
那么,面对这么多的可能性,人类如何去选择哪个正确的意思?
时至今日,我们在使用深度神经网络进行单次语义学习时也会遇到了同样的问题,而 DeepMind 团队所开发的名为“匹配网络”(Matching Network)的新型神经网络模型或许可以解决这些问题。
实际上,匹配网络凭借着在关注度和记忆方面的进步,完全可以做到仅凭一个案例就对ImageNet图像识别数据库中的海量数据进行分类筛选,而且表现绝对是无可争辩的。
图丨“匹配网络”的结构
为了阐明这一点,研究团队参照了认知心理学家的研究结果——他们发现,孩子们往往是通过归纳出偏好来消除许多错误推论,从而得出正确推论。这些典型的偏好包括:
整体偏好(whole object bias):孩子们会更倾向于认为一个词指代的是整个物体,而不是它的组成部分(兔子未被关注的部分);
类别偏好(taxonomic bias):将一类物体归于类别中的某一种物体(所有动物都可能被当做“兔子”);
形状偏好(shape bias):孩子们往往会根据事物的形状,而不是颜色或条纹来描述一个物体。(所有白色的东西都可能被归类为“兔子”)。
在上面三种偏好中,DeepMind的研究团队选择了“形状偏好”作为检测神经网络的切入点,这是因为“形状偏好”在人类偏好研究中占据了很大的比重。
图丨从左至右:原物体、形状匹配物体、颜色匹配物体
更为关键的是,在接下来的试验中,DeepMind 研究团队向深度神经网络展示三个物体的图像——原物体、形状匹配物体(形状相似但颜色不同的参照物体)以及颜色匹配物体(颜色相似但形状不同的参照物体)。同时,研究团队记录了原物体和形状匹配物体被归为一类的次数,以及原物体和颜色匹配物体被归到一类的次数。
在对上述归类次数进行比对后,研究人员发现,正如人类一样,该网络对形状的感知有着超过对颜色和材质的偏好——也就是说,神经网络也有着“形状偏好”。
图 | DeepMind在匹配网络中进行的认知心理学实验。A为形状匹配物体,B为颜色匹配物体。由于匹配网络对形状的偏好,会倾向于将原物体于A相匹配。
然而,除了观察到深度网络的形状偏好外,还有一些值得注意的结果:
首先,形状偏好在对网络训练的早期就开始出现。这很容易令人联想到了人类思维方式对于形状的偏好。心理学家表示,儿童所展示的形状偏好比青少年要少,而成年人的形状偏好最为明显;
其次,取决于不同的组合和训练模式,深度网络对形状偏好的程度也不一样。所以当研究团队对深度学习系统进行测试时,必须使用大量的训练模型来得到可靠的结果,就像心理学家对不同对象的测试一样;
最后,即使形状偏好程度不同,每个网络在同种单次语义学习测试上的表现是一样的。这说明不同的网络可以针对同一个复杂问题找到同样有效的解决办法。
总之,DeepMind团队认为,此次实验的重大成功就在于证明了认知心理学在解释和推测神经网络行为方面的潜力。而由于人类在认知心理学研究领域具备丰富的知识储备,这将为解决人工智能“黑盒子”问题提供全新的思路,让人类更深刻的理解深度神经网络的行为。
-End-