现在,深度学习神经网络等人工智能系统越来越多地用于为对人类健康和安全至关重要的决策提供信息,如自动驾驶或医疗诊断等。此类网络善于识别大型复杂数据集,以帮助做决策。但是,怎么才知道此类网络是正确的呢?据外媒报道,美国麻省理工学院(MIT)和哈佛大学(Harvard University)的研究人员决心找出答案。
神经网络置信水平(图片来源:麻省理工学院)
研究人员为神经网络处理数据研发了一种快速的方法,不仅可以输出预测,还可以基于可用数据的质量,输出模型的置信水平。而这一进步可能可以挽救生命,毕竟深度学习已经在现实世界中得到了应用。此种网络的确定性水平可能就在于自动驾驶车辆确定“很清楚可以通过十字路口”以及“可能很清楚,所以停下车以防万一”之间。
目前估计神经网络不确定性的方法往往在计算方面的成本很昂贵,而且对于瞬时决策而言相对缓慢。不过,研究人员提出了“深度证据回归”(deep evidential regression)的方法,加速了这一过程,并能够实现更安全的结果。
神经网络非常巨大,有时充满了数十亿个参数,所以仅仅为了得到一个答案就需要很大的计算量,更别说确定置信度了。分析神经网络的不确定性并不是很新鲜的事情,不过以前的方法源于贝叶斯深度学习(Bayesian deep learning),依赖于多次运行神经网络或对其进行采样,以了解其置信水平。这个过程既需要时间,也需要内存,对于高速交通而言非常奢侈。
因此,研究人员设计了一种方法,只需运行神经网络一次,就可以估计不确定性。他们设计了一个输出量很大的网络,不仅可以生产决策,还能够产生新的概率分布,捕获支持该决策的证据。此类分布被称为证据分布,直接在预测中确定模型的置信水平。这包括存在于基础输入数据中的不确定性以及模型最终决策中的不确定性。此种区别可以表明是否可以通过调整神经网络本身来减少不确定性,或者确定是否输入数据有噪声。
为了测试此种方法,研究人员首先执行了一个具有挑战性的计算机视觉任务,训练神经网络以分析单目彩色图像,并估计每个像素的深度值(即到摄像头镜头的距离)。自动驾驶汽车可能也会采用类似的计算来估计其与行人或其他车辆的距离,这并不是一项简单的任务。
研究人员的神经网络的性能与之前最先进的模型相当,但也获得了估计自身不确定性的能力。正如研究人员所希望的,该网络在预测错误深度时对像素的不确定性很高。
为了对神经网络的校准能力进行压力测试,该团队还表明,该网络预测“非分布式”数据(在训练中从未遇到过的全新图像)的不确定性更高。在对网络在室内家庭场景中训练后,研究人员又输入了一批户外驾驶场景。该网络不断发出警告,其对全新的户外场景的反应具不确定性。在用户不完全信任该网络的决策时,该测试突出了其标记能力。
该网络甚至能够知道照片被篡改过,可能可以防止数据被操纵攻击。在另一项试验中,研究人员在向该网络提供的一批照片中提升了不利噪音水平。此种影响非常微弱,人眼几乎察觉不到,但是该网络识别出了此类照片,并给照片贴上了高度不确定性的标签。
深度证据回归是一种简单而优雅的方法,可以改进不确定性估计,而此种能力对于机器人和其他真实控制系统而言非常重要。深度证据回归可以提高人工智能辅助决策的安全性,未来,该系统不仅能够快速标记不确定性,还能够在自动驾驶汽车驶近十字路口等危险情况下,利用其做出更为保守的决策。
获取更多评论