N在布鲁克林一栋写字楼的十二层楼上，从曼努埃拉·维罗索(Manuela Veloso)的办公室望去——湛蓝的天空、纽约港、自由女神像——令人振奋。但现在我们的眼睛只盯着楼下街对面那栋楼里那扇不起眼的窗户。
在他们的玻璃里，我们可以看到椅子、桌子、灯和文件。但它们看起来不太对，因为它们其实并不在那里。真正的东西在我们这一边的建筑里——很可能就是我们现在站的地方。午后明媚的阳光将它们照亮，将面向它们的窗户短暂地变成了镜子。我们看到办公室里的小摆设，看上去鬼魅一般，闪闪发光，在失重状态下漂浮着。
Carnegie Mellon University的计算机科学和机器人教授Veloso，我一直在谈论如何感知机器以及他们如何在我预期的那样“思考”的主题。“机器人怎么样？”她说窗户中的幻觉。“这是他们难以置信的那种东西。”
人工智能最近一直以不懈的速度征服难题。在过去几年中，一个特别有效的人工智能被称为神经网络的人工智能等于甚至超过了人类的任务，如发现新药物，找到了一份工作的最佳候选人，甚至驾驶汽车。神经网络，其架构拷贝的人类大脑，现在可以讲述良好的写作，并且通常会让您精确地告诉您照片中的物品。在谷歌搜索，亚马逊建议书，Facebook新闻源等普遍存在的工作中，这些网站越来越多地使用了众多和更多的月份 - 以及军事安全，财务，科学研究等关键任务，以及那些驱动自己的汽车一个人可以。
不知道机器为什么会做出奇怪的事情，让我们无法确保它不会再次发生。
还有人工智能为什么机器人大脑需要符号
如今，“人工智能”这个词似乎几乎出现在每个人的嘴边，从埃隆·马斯克到亨利·基辛格。至少有十几个国家发起了重大的人工智能计划，谷歌和Facebook等公司陷入了一场大规模的战斗。。。阅读更多
神经网络有时会出错，这是人们可以理解的。（是的，那些桌子看起来很真实；我也很难看出它们是反射物。）但一些棘手的问题让神经网络做出了不可理解的反应。神经网络执行算法——完成任务的一组指令。当然，算法是由人类编写的。然而，神经网络有时会给出完全奇怪的答案：不正确，但也不错误，人们可以理解。相反，答案听起来像是外星人可能想出的。
这些奇怪的结果很少见。但他们不仅仅是随机的毛刺。研究人员最近设计了可靠的方法来使神经网络产生这种昏迷的不人道判断。这表明人类不应该假设我们的机器就像我们一样。神经网络有时会想不同的.我们真的不知道怎么做或为什么。
这可能是一个令人不安的想法，即使你还没有依靠神经网络来管理你的家和开车。毕竟，我们越依赖人工智能，就越需要它具有可预测性，尤其是在失败的情况下。不知道机器如何或为什么会做出奇怪的事情让我们无法确保它不会再次发生。
但偶尔出现的机器“思维”的意外怪异也可能是人类的一个教育时刻。在我们接触到地外智能之前，神经网络可能是我们所知道的最有能力的非人类思想家。
由于神经网络的感知和推理与我们的不同，它们可能会向我们展示智力是如何在我们物种的限制之外工作的。伽利略证明了地球在宇宙中并不是独一无二的，达尔文证明了我们的物种在生物中也不是独一无二的。艾伯塔大学的人工智能研究者Joseph Modayil提出，也许计算机会为智力的概念做一些类似的事情。“人工系统向我们展示了智能跨越了巨大的可能性空间，”他说。
不过，首先，我们需要确保我们的自动驾驶汽车不会将校车误认为是橄榄球衫，也不要像谷歌的一个神经网络最近所做的那样，在照片中给人类贴上大猩猩或海豹的标签。在过去的几年里，许多计算机科学家对这个问题和可能的解决办法着迷。但他们还没有找到。
Jeff Clune是怀俄明大学计算机科学助理教授。由于偶然发现了人工神经网络的奇异行为，他最近开始研究它。“我不知道有没有人能很好地理解为什么会发生这种情况，”他说。
去年，在一篇题为“深度神经网络很容易被愚弄”的论文中1.Clune和他的合著者Anh Nguyen和Jason Yosinski报告说，他们已经成功地设计了一个识别物体的系统，并以至少99.6%的信心宣称左下方的图像是一只海星。而且（同样，99.6%的信心）右边的那只是猎豹。
相反，来自谷歌、脸谱网、纽约大学和蒙特利尔大学的另一组研究人员得到了一个神经网络系统来规定，在下图中，左边的图像是一只狗。但是右边的那个（像素稍有变化）是鸵鸟。
右边的狗的图片是研究人员称之为“对抗性例子”的一个例子2.这些图像仅不同于正确分类的图像略有不同，但却导致先进的神经网络使判断使人类摇头。
神经网络是机器学习的一种形式，它从数据中分析并得出结论。普林斯顿大学信息技术政策中心博士后研究助理Solon Barocas指出，机器学习不仅仅用于视觉任务。1.巴罗卡斯指出，2012年，一个为教育考试服务中心（Educational Testing Service）建立的评估论文的系统宣布这篇散文（由前麻省理工学院写作教授莱斯·佩雷尔曼（Les Perelman）创作）为伟大的作品：
在当今社会，大学是不明确的。我们需要它来生活，但我们也需要它来爱。此外，没有大学，世界上大部分的学习都将是令人震惊的。然而，大学有无数的成本。世界面临的最重要问题之一是如何降低大学成本。一些人认为，大学成本是由奢侈品造成的学生们现在期望如此。其他人则认为成本是体育运动的结果。事实上，大学成本高是教学助理工资过高的结果。
大词和整齐的句子不能掩盖任何真实想法或论点的缺失。不过，这台机器给了它满分。3.
这种扭曲的结果不能解释为单个计算机系统的故障，因为让一个系统偏离轨道的例子也会对另一个系统造成同样的后果。人工智能研究公司Vicarious的联合创始人迪利普·乔治（Dileep George）在读了《深度神经网络很容易被愚弄》后，很好奇地想看看不同的神经网络会如何反应。在他的iPhone上，他碰巧有一款现已停产的应用程序，名为Spotter，一种识别物体的神经网络。他把它指向克伦的网络称之为海星的波浪线。“电话上说是海星，”乔治说。
Spotter正在检查一张在许多方面与原作不同的照片：乔治的照片是在不同的照明条件下以不同的角度拍摄的，周围的纸张中包含了一些像素，而这些像素并不是示例本身的一部分。然而，神经网络产生了同样的外星探测解释。“这很有趣，”乔治说。“这意味着这一发现相当可靠。”
事实上，参与“海星”和“鸵鸟”论文的研究人员确保他们的愚弄图像在不止一个系统中成功。谷歌的Christian Szegedy及其同事写道：“为一个模型生成的示例经常被其他模型错误分类，即使它们具有不同的体系结构，”或者使用不同的数据集。4.Clune说:“这意味着这些神经网络在校车的外观上是一致的。”“他们认为校车的样子包括很多东西，没有人会说它是校车。这真的让很多人感到惊讶。”
问题不仅仅在于机器的思维方式与人不同。而是人们不知道为什么。
当然，任何接受和处理数据的系统都可以误诊对象。包括人类大脑，这可以确信其晨具的模式是耶稣的肖像。但是当你看一个模式并看看那些不存在的事情 - 什么是心理学家称之为“Pareidolia” - 其他人可以理解为什么你犯了错误。这是因为我们都分享了相同的心理系统，以了解事物和理解它们。
在一个完美的世界里，我们的机器也会共享这个系统，我们可以像了解彼此一样了解它们。来自神经网络的奇怪结果告诉我们，我们并不生活在那个世界。巴罗卡斯说，在这样的时刻，我们可以看到算法“思维”不是我们的复制。“当系统以人类不会的方式运作时，我们可以看到它们的幻想性视错觉与我们的不同。”
巴罗卡斯补充说，编写算法的人“希望将事物人性化，并以符合我们思考和推理的方式解释事物。”但我们需要准备好接受这样一个事实，即即使计算机在执行我们执行的任务，它们的执行方式也非常不同。”
当然，称狗为鸵鸟的人工智能并不是一种威胁。许多书面测试都是由机器正确评分的，愚弄神经网络的图像似乎是不可能的。但是，一些研究人员说，他们将发生克伦说，即使是一台机器判定校车是橄榄球衫的例子也太多了，“尤其是当你碰巧坐在自动驾驶的校车上犯了这个错误的时候。”
现在还不可能理解神经网络是如何得出一个不可理解的结果的。计算机科学家能用神经网络做的最好的事情就是观察它们的活动，并注意到输入是如何触发其某些单元的响应的。这总比什么都没有好，但它还不接近于对内部情况的严格数学描述。换句话说，问题不仅仅在于机器与人的思维方式不同。人们无法通过逆向工程来找出原因。
我可笑的是，非人类的幻想性视错觉出现在本应模仿我们大脑最人类部分的算法中。神经网络最早是在20世纪40年代被提出的，当时它是大脑皮层的一个粗略的软件模型，许多感知和思考都发生在大脑皮层。网络运行的是由代码组成的虚拟神经元，而不是我们大脑中的物理神经元。每个节点都有多个接收信息的通道，一个处理器用于从这些输入计算函数，一个通道用于输出其工作结果。这些虚拟神经元，就像人类皮层中的细胞一样，是分层排列的。进入某一层的信息会触发其神经元的集体反应(一些神经元被激活并相互交流，而另一些则保持沉默)。结果被传递到下一层，在那里它被处理为进一步加工的原料。
虽然每个神经元都是一个简单的信息处理器，但这种结构允许细胞集体使用接收到的数据执行惊人的功能。例如，在真实的大脑中，神经元会将你视神经中的几百万个电脉冲转换成一种感觉，即你正在观察窗口中的反射。大脑皮层中对物体边缘做出反应的层将其工作传递给对边缘做出反应的层，即使边缘是颠倒的，在昏暗的光线下也是如此。更进一步的层次解释了这种解释，最后视觉信息被整合到一个复杂的感知中：“那是阴影中一个倒置的香蕉。”
神经网络更简单。但随着近年来处理能力的进步和提供示例的海量数据集的日益增多，它们现在可以取得类似的成功。它们的分层处理可以在大量数据中找到模式，并使用这些模式将“猎豹”和“海星”等标签连接到正确的图像上。
这台机器没有几亿年的进化设计来引导它注意颜色、边缘和形状等特征。相反，神经网络是由人类程序员“训练”的。他们将举一个例子——大量的潦草文字，每一个都被认为是人类潦草的字母表版本。当算法对它们进行排序时，它的错误猜测将得到纠正，直到它对训练数据的所有分类都正确为止。有成千上万个人类认为是“D”字母的例子，神经网络很快就会制定出一个规则来正确地决定将来应该标注什么“D”。这是神经网络体系结构的最大吸引力之一：它允许计算机科学家设计手写识别，而无需提出无数定义正确“d”的规则列表。他们也不需要向机器展示每一个曾经创建的“d”。在宇宙中所有可能的d中只有一小部分，它在神经网络上训练的例子教会了自己识别任何它遇到的未来“d”。
直到几周前，评委们才意识到这位艺术家不是人类，直到他们承认其作品进入展览。
这种架构的缺点是，当电视静态是猎豹的机器规则时，计算机科学家没有列表“猎豹”的标准，他们可以搜索毛刺。神经网络没有执行一组人类创建的指令，也不是通过所有可能的猎豹的完整库来运行。它只是响应它收到的输入。创建网络的算法是如何处理信息的指令，而不是解决任何特定问题的指令。换句话说，神经网络算法不像精确的食谱 - 取这种成分，这样做，当它变得柔软时，请执行此操作。他们更像是餐厅的订单。“我想要一杯烤奶酪和沙拉。你怎么做到这取决于你。“随着巴罗卡斯的说明，“发现探索数据的结果，发现关系，计算机使用它的规则。”
目前，人类无法发现计算机创造的规则是什么。在一个典型的神经网络中，只有输入层和输出层，在输入层，人们可以很容易地识别出它们的工作方式。输入层将数据输入系统，输出层将其他层的工作汇报给人类世界。在这两层之间，在隐藏层中，虚拟神经元处理信息并通过在它们之间形成连接来共享它们的工作。就像在人脑中一样，操作的数量之多，实际上不可能精确确定任何单个神经元对最终结果的贡献。克伦说：“如果你知道60亿人口经济体中每个人的一切，你就不知道会发生什么，甚至不知道过去为什么会发生这样的事情。”。“复杂性是“突发性的”，取决于数百万个部分之间的复杂交互，而我们人类不知道如何理解这一点。”
此外，大量的信息处理是在神经元之间不断变化的联系中完成的，而不是在任何单个细胞中。因此，即使计算机科学家确定了网络中的每个细胞在某一特定时刻所做的事情，他们仍然无法完全了解其运行情况。例如，知道一层神经元的一部分被一张脸的轮廓所激活，并不能告诉你这些神经元在决定这张脸是谁的过程中起着什么作用。
This is why, as Clune and his colleagues recently put it, “neural networks have long been known as ‘black boxes’ because it is difficult to understand exactly how any particular, trained neural network functions, due to the large number of interacting, non-linear parts.”5.
克伦将处理神经网络的计算机科学家与处理全球经济的经济学家进行了比较。“这很难理解，”他说。“只是因为你不明白每件事并不意味着你不能理解任何东西“关于神经网络的内部运作，他说，”我们正在慢慢地开始弄清楚它们，我们可能有，比如说，艾伦·格林斯潘的理解水平。但我们没有物理学家的理解。”
去年6月，Google-Alexander Mordvintsev，Christopher Olah和Mike Tyka的一支研究人员团队 - 揭示了他们开发的方法，使图像识别网揭示了其架构中特定层的工作。“我们只需馈送网络一个任意图像或照片并让网络分析图片”，“三重奏写道。“然后我们选择一层，并要求网络增强其检测到的任何东西。”6.结果是一系列引人注目的图像，它们的确切形状根据被询问层的焦点而有所不同。（他们很快在网络上以“谷歌深度梦”而闻名。）“例如，”谷歌团队写道，“较低的层倾向于产生笔划或简单的装饰性图案，因为这些层对边缘及其方向等基本特征敏感。”
不久之后，Clune、Yosinski、Nguyen、加州理工学院的Thomas Fuchs和康奈尔大学的Hod Lipson发表了一种不同的方法来获取活跃的神经网络，以揭示其层的哪些部分，甚至单个神经元在做什么。在人类向神经网络呈现特定图像后，他们的软件跟踪神经网络各层的事件。用户可以看到，在她展示给网络的物体或图像旁边，有一幅实时的神经元响应地图。Clune解释道:“这样你就可以看到特定节点的响应。“我们开始允许你用光线照射黑盒子，了解发生了什么。”
W当研究人员试图弄清楚为什么用于训练算法的大量数据集不能反映他们所期望的现实时，另一些人认为算法所创造的奇怪规则可能在告诉我们现实中我们无法检测到的方面。
毕竟，克伦说，一朵花对人类和蜜蜂来说都很好看，但这并不意味着两种生物看到的东西是一样的。他说：“当我们从传粉者能看到的光谱中观察那朵花时，模式是完全不同的。”。尽管蜜蜂会觉得我们的颜色感知很奇怪，反之亦然，但这两个物种的观点都不是幻觉。也许神经网络认知的奇异性会教给我们一些东西。也许它甚至会让我们高兴。
在克伦和他的同事们的研究中，一些被识别算法认可的图像与机器称为猎豹的电视图像不同。相反，这类图像与算法选择的类别存在某种关系。7.例如，它宣称，在下图中，左边的图像是一座监狱，右边的图像是草莓。
人类没有做出同样的分类。但是当人们看到机器所做的事情时，人们可以看到图像和概念之间的联系。与“静态即猎豹”类型的判断不同，这种机器判断可能会让人们以一种新的方式看待草莓，或者以不同的方式思考“草莓”类别。
对研究人员来说，这听起来像是对“艺术”的一个很好的定义。所以他们把一些照片提交给怀俄明大学艺术博物馆的一场表演。该算法的工作是35%的作品被接受，并在博物馆展出，然后它赢得了奖。直到几周前，评委们才知道这位艺术家不是人类，直到他们承认这件作品进入了展览。“我们参加了一个有评审的艺术比赛，没有要求提交任何关于艺术的信息，”克伦说。“但过了一会儿，我们给他们发了一封电子邮件，说，‘哦，顺便说一下，这是一个有趣的背景故事……”
那么，将AI研究人员描述为乐观主义者的公平 - 但随后，AI研究人员是那些找到计算机书面诗歌或计算机编排的前景的人。即使一个算法出现在舞蹈中，也没有人类可以表演，Clune说：“我们仍然可以欣赏到舞蹈做舞蹈。”我们在2015年确定的是，现在，人类并没有完全理解算法Pareidolia，即使它越来越依赖于算法过程。
克伦说：“对于这些问题，没有确切的是或否的答案，但这确实很吸引人。”。“这几乎就像现代神经科学一样。我们正在对这些大脑进行逆向工程，以找出它们是如何工作的。”
无论如何，对机器“思维”的更好理解的需要超出了被神经网络迷惑的研究人员的范围。这是对整个人工智能领域以及依赖它的整个社会的挑战。
大卫·贝勒比是《圣经》的作者我们和他们：身份的科学，目前正在写一本关于个人自治未来的书。他在其他知识.
工具书类
1. Nguyen，A.，Yosinski，J。，＆Clune，J.深度神经网络很容易被骗：对无法辨认的图像的高信心预测。预印arxiv 1412.1897（2014）。
2. Szegedy，C.等神经网络的有趣特性。预印本arXiv 1312.6199（2013）。
3.赫恩，A。“计算机不能阅读”新政治家(2012).
4.Goodfello，I.J.，Shlens，J.，和Szegedy，C.解释和利用对抗性例子。预印本arXiv 1412.6572（2014）。
5.Yosinski，J.，Clune，J.，Nguyen，A.，Fuchs，T.，和Lipson，H.通过深度可视化理解神经网络。预印本arXiv 1506.06579（2015）。
6.Mordvintsev，A.，Olah，C.，和Tyka，M.“接受主义：深入神经网络”http://googleresearch.blogspot.com(2015).
7.创新引擎:基于深度学习的自动化创造力和改进的随机优化。遗传和进化计算会议记录(2015).
