Dmitry Malioutov不能说太多关于他建造的东西。
作为IBM的一名研究科学家，Malioutov花了部分时间构建机器学习系统，以解决IBM公司客户面临的难题。其中一项计划是针对一家大型保险公司的。这是一项具有挑战性的任务，需要复杂的算法。然而，当向他的客户描述结果时，出现了一个问题。“我们无法向他们解释这个模型，因为他们没有接受过机器学习方面的培训。”
事实上，即使他们是机器学习专家也可能没有帮助。这是因为该模型是一个人工神经网络，这是一个在这种情况下采用给定类型的数据的程序 - 保险公司的客户记录 - 并在其中找到模式。这些网络已经实际使用了半个世纪，但最近他们看到了复兴，从语音识别和语言翻译到去玩机器人和自动驾驶汽车的所有东西都能推动突破。
尽管它们的性能提升令人兴奋，但现代神经网络有一个令人不安的事实:没有人确切知道它们是如何工作的。这意味着没人能预测他们什么时候会失败。
例如，采取最近由机器学习研究员富有Caruana及其同事报告的一集。他们描述了匹兹堡大学医疗中心的团队的经验，他们正在使用机器学习来预测肺炎患者是否可能产生严重的并发症。目标是将患者送低风险，以对门诊治疗，保存医院病床和医务人员的关注。该团队尝试了几种不同的方法，包括各种神经网络，以及软件生成的决策树，产生清晰，人类可读的规则。
神经网络比其他任何一种方法都更正确。但当研究人员和医生查看这些人类可读的规则时，他们注意到一些令人不安的事情:其中一条规则要求医生把已经患有哮喘的肺炎患者送回家，尽管众所周知，哮喘患者非常容易出现并发症。
模型完成了它被告知的任务:在数据中发现一个真正的模式。它给出的糟糕建议是数据中一个怪癖的结果。把患有肺炎的哮喘患者送到重症监护室是医院的政策，这一政策非常有效，哮喘患者几乎从未出现严重的并发症。如果没有医院病人记录的额外护理，结果可能会截然不同。
人工智能已经长大并离开了家
“人工智能的历史，”我的计算机科学教授在第一天上课时说，“是一段失败的历史。”这个严酷的判断总结了50年来让电脑思考的努力。当然，他们可以计算数字……阅读更多
这个医院轶事清楚地表明了可解释性的实用价值。“如果基于规则的系统知道哮喘降低了风险，那么神经网络当然也知道了，”卡鲁阿纳和他的同事写道——但是神经网络不是人类可以理解的，它关于哮喘患者的奇异结论可能很难诊断。1马里约托夫警告说，如果没有可解释的模型，“你可能会意外地杀死人。”
这就是为什么这么多不愿赌博神经网络的奥秘。当Malioutov向他自己的公司客户提出准确但不可思议的神经网络模型时，他还向他们提供了一个替代的规则的模型，其工作他可以以简单的方式进行通信。第二个，可解释的模型比第一个更准确，但客户决定使用它 - 尽管是一家数学上复杂的保险公司，每增加一下的准确性。“他们可以与[IT]更多，”Malioutov说。“他们非常重视直觉。”
甚至连政府也开始对神秘的神经网络预言者日益增长的影响力表示担忧。欧盟最近提议建立“解释权”，允许公民要求算法决策的透明度。2然而，这项立法可能难以实施，因为立法者并没有具体说明“透明度”的含义。目前还不清楚这一遗漏是源于对问题的无知，还是对其复杂性的认识。
一些研究人员希望消除选择的必要性，让我们拥有多层蛋糕，并理解它。
事实上，有些人认为这样的定义可能是不可能的。目前，尽管我们可以知道关于神经网络在做什么的一切信息——毕竟，它们只是计算机程序——但我们对它们是如何或为什么在做这些知之甚少。神经网络是由许多，有时是数百万个被称为神经元的个体单元组成的。每个神经元将许多数字输入转换为单个数字输出，然后再传递给一个或多个其他神经元。就像在大脑中一样，这些神经元被分成“层”，一组细胞从下一层接收输入，然后将输出发送到上一层。
神经网络的训练方法是输入数据，然后调整层与层之间的连接，直到网络的计算输出与已知输出(通常由类别组成)尽可能接近。过去几年取得的令人难以置信的成果要归功于一系列新技术，这些技术使快速训练深度网络成为可能，在第一次输入和最终输出之间有许多层。一个被称为AlexNet的流行深度网络被用来对照片进行分类，根据照片上是西施犬还是博美犬等细微的区别给照片贴上标签。它由超过6000万个“重量”组成，每一个“重量”告诉每一个神经元对每一个输入需要注意多少。康奈尔大学(Cornell University)和几何智能学院(Geometric Intelligence)的计算机科学家杰森•约辛斯基(Jason Yosinski)表示:“为了让你对这个网络有一些了解，你必须对这6000万个数字有一些了解。”
即使有可能强加这种可解释性，也不一定总是可取的。对可解释性的需求可以被视为另一组约束，防止模型成为只关注输入和输出数据的“纯”解决方案，并可能降低准确性。在美国国防部高级研究计划局(DARPA)今年早些时候的一次会议上，项目经理大卫·冈宁(David Gunning)用一张图表总结了这种权衡。图表显示，深层网络是现代方法中最难理解的。在光谱的另一端是决策树，基于规则的系统倾向于重视解释而不是效力。
结果是，现代机器学习提供了一种选择:我们想知道吗什么会有很高的准确性，还是为什么什么事会发生，以牺牲准确性为代价?“为什么”帮助我们制定策略、调整，并知道我们的模式何时会崩溃。“什么”帮助我们在不久的将来适当地行动。
这可能是一个艰难的选择。但一些研究人员希望消除选择的必要性，让我们拥有我们的多层蛋糕，并了解它。令人惊讶的是，一些最有前途的研究方法将神经网络视为实验对象，而不是分析的、纯粹的数学对象。例如，约辛斯基说，他正试图“以我们理解动物甚至人类的方式”来理解深层网络。他和其他计算机科学家正在从生物学研究中引进技术，这种技术可以像神经科学家研究大脑一样，窥探网络内部:探测单个组件，分类它们的内部如何对输入的微小变化做出反应，甚至去除一些部件，看看其他人如何进行补偿。
在从零开始构建了一种新的智能系统后，科学家们现在正将其拆开，将相当于显微镜和手术刀的数字技术应用于这些虚拟生物。
Y奥辛斯基坐在电脑终端前，对着网络摄像头说话。来自网络摄像头的数据被输入到一个深度神经网络，而网络本身正在被实时分析，使用的是Yosinski和他的同事开发的一个叫做深度可视化工具包的软件工具包。通过点击几块屏幕，约辛斯基将网络中的一个神经元放大。“这个神经元似乎对面孔有反应，”他在一段互动视频记录中说。3.人类大脑也有这样的神经元，其中许多聚集在大脑的梭状面区。从1992年开始的多次研究发现了这一区域，4、5已经成为人类神经科学中最可靠的观察结果之一。但这些研究需要像正电子发射断层扫描这样的先进技术，约辛斯基可以仅通过代码来观察他的人工神经元。
这种方法可以让他将某些人造神经元映射到人类可以理解的想法或物体上，比如人脸，这可能有助于将神经网络变成直观的工具。他的程序还可以突出图片的哪些方面对刺激面部神经元最重要。“我们可以看到，如果我们的眼睛颜色更深，嘴唇颜色更红，它的反应会更强烈，”他说。
到杜克大学计算机科学与电气计算机工程教授的辛西娅Rudin，这些“HOC”解释是性质问题。她的研究侧重于建立基于规则的机器学习系统，该系统适用于诸如监狱量刑和医学诊断等域，其中人类可读的解释是可能的 - 并且批判性的重要性。但是，对于像愿景等地区的问题，她说，“解释完全在旁观者的眼中。”我们可以通过识别面部神经元来简化网络响应，但我们如何确定它真的是它的寻找？Rudin的担忧呼应着着名的象征，即视觉系统可能比视觉系统本身更简单的模型。“你可以对复杂模型做的事情有很多解释，”她说。“你刚挑选你想要正确的人吗？”
Yosinski的工具包可以部分地通过逆向工作来消除这些担忧，发现网络本身“希望”什么是正确的——一种人为的理想。程序从原始的静态图像开始，然后逐像素地调整静态图像，并使用训练网络的相反过程对图像进行修补。最终，它会找到一张能引起给定神经元最大可能反应的图片。当这种方法被应用到AlexNet的神经元上时，它产生了漫画，虽然幽灵般的，但毫无疑问唤起了被标记的类别。
这似乎支持了他的说法，面部神经元确实在寻找面孔，在某种非常普遍的意义上。但这里有个陷阱。为了生成这些图像，约辛斯基的程序依赖于一个统计约束(称为自然图像先验)，该约束将生成的图像限制在与人们在真实世界物体的图像中发现的结构类型相匹配的类型。当他删除这些规则时，工具箱仍然会选择一个最可靠的图像，但该图像是纯静态的。事实上，约辛斯基已经证明，在很多情况下，AlexNet神经元喜欢的大多数图像在人类看来都是静态的。他欣然承认，“要想让网络说出一些极端的话，很容易。”
为了避免这些缺陷，弗吉尼亚理工大学电子与计算机工程助理教授Dhruv Batra采用了一种更高水平的实验方法来解释深层网络。他并没有试图在它们的内部结构中寻找模式——“比我聪明的人已经研究过了，”他反驳道——他主要是利用机器人版本的眼球追踪来探究网络的行为。他的团队在一个由研究生Abhishek Das和Harsh Agrawal领导的项目中，对图像进行了深网研究，比如给定的房间图片的窗户上是否有窗帘。6与AlexNet或类似的系统不同，Das的网络被设计成每次只关注图像的一小块。它在图片周围移动它的虚拟眼睛，直到它认为它有足够的信息来回答问题。在经过充分的训练后，深度网络表现得非常好，回答问题的准确性与最优秀的人不相上下。
训练有素的机器非常适合它们的环境，而不适合于任何其他环境。
然后，Das, Batra和他们的同事们试图通过调查它在图片中选择的位置来了解网络是如何做出决定的。他们的发现让他们感到惊讶:当回答有关窗帘的问题时，网络甚至懒得找窗户。相反，它首先会查看图像的底部，如果找到一张床，它就会停止查看。似乎，在用于训练神经网络的数据集中，带窗帘的窗户可能出现在卧室里。
虽然这种方法确实揭示了深网的一些内部工作，但它也加强了可解释性提出的挑战。巴特拉说:“机器捕捉到的不是世界事实。”“它们是关于数据集的事实。”由于这些机器对输入的数据进行了严格调整，因此很难提取出它们如何工作的一般规则。他警告说，更重要的是，如果你不知道它是如何工作的，你就不知道它将如何失败。当他们失败时，根据巴特拉的经验，“他们失败得非常可耻。”
像尤辛斯基和巴特拉这样的研究人员面临的一些障碍对于研究人类大脑的科学家来说是很熟悉的。例如，关于神经成像的解释的问题即使没有得到普遍关注，到今天仍然很常见。在2014年对该领域的回顾中，认知神经学家玛莎·法拉(Martha Farah)写道:“担忧……(功能性大脑)图像更多的是研究人员的发明，而不是研究人员的观察。”7在智能系统的不同实现中出现的这些问题表明，它们可能是障碍，不是对这种或那种大脑的研究，而是对智能本身的研究。
我it’追逐解释性是徒劳的事吗?加州大学圣地亚哥分校(University of California, San Diego)的扎卡里·利普顿(Zachary Lipton)在2015年发表了一篇题为《模型可解释性的神话》(The Myth of Model Interpretability)的博客文章，对解释神经网络背后的动机以及首先为巨大数据集构建可解释性机器学习模型的价值提出了关键的观点。在今年的国际机器学习会议(ICML)上，他向一个关于人类可解释性的研讨会(由Malioutov和他的两位同事组织)提交了一篇颇具争议的论文。8
利普顿指出，许多学者对可解释性这一概念本身存在分歧，这对他来说要么是可解释性理解不足，要么是有许多同样有效的含义。在这两种情况下，追求可解释性可能无法满足我们对神经网络输出的直接、简明描述的渴望。在他的博客文章中，Lipton认为，当涉及到庞大的数据集时，研究人员可以选择抵制解释的冲动，相反，他们可以“相信经验的成功”。他认为，该领域的一个目的是“建立模型，使其能够从人类无法有意识解释的大量特征中学习”，而可解释性可能会阻止这些模型充分发挥其潜力。
但这种能力既是特征也是失败:如果我们不理解网络输出是如何产生的，那么我们就无法知道输入的哪些方面是必要的，甚至根本无法知道哪些方面可能被视为输入。一个恰当的例子是:1996年，苏塞克斯大学的阿德里安·汤普森(Adrian Thompson)利用软件设计电路，采用的技术与今天训练深度网络的技术类似。这个电路是为了完成一个简单的任务:区分两种音频。经过数千次迭代，调整和重新排列电路元件后，该软件找到了一种几乎完美地完成任务的配置。
然而，汤普森惊讶地发现，电路使用的元件比任何人类工程师使用的元件都要少——包括一些没有物理连接的元件，但这些元件对电路正常工作仍然是必要的。
他开始剖析电路。经过几次实验，他发现它成功地利用了相邻元件之间的微弱电磁干扰。断开的元件在局部电场中引起小的波动，从而影响电路。人类工程师通常会防范这些相互作用，因为它们是不可预测的。果然，当汤普森将同样的电路布局复制到另一批元件上，甚至改变环境温度时，它完全失败了。
这条线路展示了经过训练的机器的一个特点:它们尽可能地紧凑和简化，非常适合自己的环境，而不适合于任何其他环境。他们发现了工程师看不到的模式;但不知道哪些模式在其他地方不存在。机器学习研究人员竭尽全力避免这种被称为“过拟合”的现象，但随着这些算法在越来越多的动态情况下使用，它们的脆弱性将不可避免地暴露出来。
最新和最受欢迎的文章投递到您的收件箱!
对于普林斯顿大学计算机科学教授Sanjeev Arora来说，这一事实是寻求可解释模型的主要动机，这些模型允许人类干预和调整网络。阿罗拉指出，在缺乏可解释性的情况下，机器的能力可能会受到两个问题的限制。一个是“可组合性”——当手头的任务涉及许多不同的决策时(比如围棋，或自动驾驶汽车)，网络无法有效地了解是谁导致了失败。他说:“通常当我们设计东西时，我们了解不同的组件，然后把它们放在一起。”这允许人们调整不适合给定环境的组件。
留下可解释性未解决的另一个问题是arora调用“域适应性” - 能够在一个设置中灵活地应用知识到另一个设置。这是人类学习者做得很好的任务，但机器可以以惊人的方式失败。arora描述了如何灾难性地无法调整甚至可以轻松地调整甚至微妙的上下文变化。例如，通过阅读正式文档，如维基百科这样的网络培训，以解析人类语言，可以在更白天的设置中完全失败，如Twitter。
根据这种观点，可解释性似乎至关重要。但是我们明白这个词的意思了吗?计算机科学家先驱马文·明斯基创造了“手提箱词”来描述许多术语，比如“意识”或“情感”——我们在谈论自己的智力时使用的术语。9他提出，这些词反映了许多不同的底层过程的工作，这些过程被锁在“手提箱”中。这种观点认为，只要我们继续研究这些词作为更基本概念的替代品，我们的洞察力就会受到语言的限制。在智力的研究中，可解释性本身会是这样一个微不足道的词吗?
与我交谈过的许多研究人员都乐观地认为，理论家有一天会解开这个箱子，发现一套单一的、统一的、指导机器(也许还有人类)学习的原则或定律，类似于牛顿的理论原理另一些人则警告说，几乎没有理由期待这种情况发生。纽约城市大学的哲学教授Massimo Pigliucci警告说，自然科学的“理解”——引申到人工智能——可能是路德维希·维特根斯坦(Ludwig Wittgenstein)所称的“集群概念”，这是明斯基预料到的，它可以承认许多不同的定义。他说，如果这个领域的“理解”真的来了，它可能不是在物理学中发现的那种，而是在进化生物学中发现的那种。而不是原理他说，我们可能会这样认为物种起源．
当然，这并不意味着，这种深度网络是一些新的自治生活的预兆。但他们可能会像生命那样难以理解。该领域的增量，实验方法和后行政区诠释可能不是在黑暗中围绕着某种绝望的感觉，希望理论闪耀光明。相反，他们可以成为我们所能期望的唯一光线。可解释性可以逐步出现，作为在由推理和偶然的上下文的解释所定义的分类法中排列的“物种”的一组原型示例。
在ICML Workshop的关闭时，一些演示者出现在小组上，以试图和定义“可解释性”。有很多回应，因为有小组成员。经过一些讨论，该组似乎发现共识，即旨在可解释的模型是必要的“简单性”。但是，当按下以定义简单性时，该组再次分发。是依赖于最少数量的功能的“最简单”模型？那个使得最尖锐的区别的人？这是最小的程序吗？研讨会在没有商定的答案的情况下关闭，将一个inchoate概念的定义留下了另一个替换的。
正如Malioutov所说，“简单并不是那么简单。”
Aaron M. Bornstein是普林斯顿神经科学研究所的研究员。他的研究调查了我们如何利用记忆理解现在，规划未来。
参考文献
1.Caruana, R。等人医疗保健的可理解模型:预测肺炎风险和住院30天再入院。第21届ACM SIGKDD知识发现与数据挖掘国际会议论文集1721 - 1730(2015)。
2.人工智能正在为与欧洲的巨大冲突建立互联网。Wired.com(2016)。
3.yoinski, J.， Clune, J.， Nguyen, A。arXiv: 1506.06579(2015)。
4.张志强，王志强，王志强，等。人脸与物体处理的功能神经解剖学研究进展。正电子发射层析成像研究。大脑115.15-36(1992)。
5.坎维舍。梭状面区:人类外皮层专门用于面孔知觉的一个模块。神经科学杂志17., 4302 - 4311(1997)。
6.Das, A.， Agrawal, H.， Zitnick, C.L.， Parikh, D.， & Batra, D.视觉问题回答中的人类注意力:人类和深层网络关注同一区域吗?自然语言处理经验方法学术会议(2016)。
7.脑影像、婴儿和洗澡水:功能性神经影像批评。解读神经图像:技术介绍及其局限性45S19-S30(2014)。
8.模型可解释性的神话。arXiv: 1606.03490(2016)。
9.《意识是一个大箱子:与马文·明斯基的谈话》。Edge.org(1998)。
