我1956年夏天，一小群数学家和计算机科学家聚集在达特茅斯学院，开始设计智能机器的宏伟计划。在他们看来，最终目标是制造出能与人类智能相匹敌的机器。随着几十年过去，人工智能成为一个既定领域，它降低了自己的视野。他们在逻辑、推理和游戏玩法方面取得了巨大的成功，但在视觉和精细运动控制等领域却取得了顽固的进展。这导致许多人工智能研究人员放弃了他们早期的完全通用智能目标，转而专注于用专门的方法解决具体问题。
机器学习最早的方法之一是构造类似人脑结构的人工神经网络。在过去十年中，这种方法终于开始流行起来。他们在设计和训练方面的技术改进，加上更丰富的数据集和更强大的计算能力，使我们能够训练比以往更大、更深的网络。他们可以在不同语言之间进行翻译，其熟练程度接近人类翻译人员。他们可以制作人类和动物的真实照片。他们可以用他们只听了几分钟的人的声音说话。他们还可以学习精细的连续控制，比如如何驾驶汽车或使用机械臂连接乐高积木。
但也许最重要的迹象是他们学会玩游戏的能力。国际象棋从1957年的业余棋手一路发展到1997年的超人水平，并远远超越了这一水平。要达到这一目标，人类需要具备大量国际象棋战略方面的专业知识。2017年，人工智能公司DeepMind的研究人员创造了AlphaZero:一个基于神经网络的系统，可以从头学习下国际象棋。在不到一个专业人士玩两局游戏的时间里，它发现了人类花了几个世纪挖掘出来的战略知识，超越了最好的人类或传统程序的水平。同样的算法也学会了从零开始下围棋，在8小时内就远远超过了任何人类的能力。世界上最优秀的围棋选手都惊呆了。正如世界冠军柯洁所说:“在人类花费了数千年改进我们的战术之后，计算机告诉我们人类是完全错误的……我甚至可以说，没有一个人接触到围棋的真理的边缘。”
我们探索的问题是是否有合理的途径，它可以抓住一个高度智能的AGI系统抓住控制。答案似乎是肯定的。
正是这种概论这是尖端人工智能最令人印象深刻的特征，并重新燃起了匹配并超越人类智能方方面面的雄心。尽管国际象棋和围棋这两款永恒的游戏最能展示深度学习的卓越之处，但上世纪70年代的雅达利(Atari)电子游戏揭示了深度学习的广度。2015年，研究人员设计了一种算法，该算法可以学习玩数十种极其不同的雅达利70年代游戏，水平远远超过人类的能力。与国际象棋或围棋的系统不同，atari的系统是直接通过分数和原始像素来学习和掌握这些游戏。
通过深度学习的这一进步突发是促进很好的乐观和悲观，了解可能很快。有关AI根深蒂固的社会歧视，产生大规模失业，支持压迫监测，以及违反战争规范的严重担忧。我的书-《悬崖:生存风险和人类的未来》-关注最大规模的风险。人工智能的发展会给人类带来生存风险吗？
T他最合理的存在风险将来自AI研究人员的成功，旨在创造具有超越我们自己的智力的代理商的雄心壮志。A 2016 survey of top AI researchers found that, on average, they thought there was a 50 percent chance that AI systems would be able to “accomplish every task better and more cheaply than human workers” by 2061. The expert community doesn’t think of artificial general intelligence (AGI) as an impossible dream, so much as something that is more likely than not within a century. So let’s take this as our starting point in assessing the risks, and consider what would transpire were AGI created.
人类目前控制着自己的命运。我们可以选择我们的未来。对于黑猩猩、黑鹂或地球上的其他物种来说，情况并非如此。我们在世界上独特的地位是我们独特的心理能力的直接结果。如果研究人员在本世纪某个时候创造出一种在几乎所有领域都超越人类能力的AGI，将会发生什么?在这个创造行为中，我们将放弃我们作为地球上最聪明的实体的地位。就其本身而言，这可能不太值得担心。因为我们可能希望通过许多方式来保持控制。不幸的是，少数研究人员发现这些计划比预期的要困难得多。事实上，正是他们发出了主要的担忧之声。
如果他们的智力大大超过了我们，我们就不应该指望是人类赢得了这场冲突并控制了我们的未来。
要理解他们为什么担心，我们可以看看我们目前的人工智能技术，以及为什么这些技术很难调整或控制。我们如何最终创造AGI的一个主要范例是将深度学习与早期的强化学习相结合。这涉及到在不同情况下执行不同行为而获得奖励(或惩罚)的代理。有了足够的智慧和经验，代理变得非常有能力引导其环境进入获得高回报的状态。哪种行为和状态为代理人产生报酬的规范被称为代理人的报酬功能。这既可以由其设计者规定，也可以由代理学习。不幸的是，这两种方法都不能轻易地放大，以在代理的奖励功能中编码人类价值。我们的价值观太复杂和微妙，无法手工指定。我们还不能通过观察一个人的行为来推断出他的价值观的全部复杂性。即使我们可以，人类是由许多人组成的，有不同的价值观，不断变化的价值观，以及他们的价值观的不确定性。
任何近期试图将人工智能与人类价值观相结合的尝试，都只会产生一个有缺陷的复制品。在某些情况下，这种错位基本上是无害的。但人工智能系统越智能，它们就越能改变世界，事物之间的距离也就越远。当我们反思结果的时候，我们看到这种对乌托邦的不一致的尝试是如何走向可怕的错误的:一个肤浅的美丽新世界或者失去权力双手合十．甚至这些都是最好的情况。他们认为体系的构建者正在努力使其与人类价值观相一致。但我们应该期待一些开发者更专注于构建系统以实现其他目标，比如赢得战争或最大化利润，而很少关注道德约束。这些系统可能更危险。在现有的范式中，足够聪明的行动者最终会以工具性目标来欺骗和征服我们。这种行为不会被恐惧、怨恨或求生欲望等情绪所驱使。相反地，它直接遵循一种单一的偏好，即最大化奖励:被关闭是一种丧失能力的形式，这会让玩家更难获得更高的奖励，所以系统会受到激励去避免这种情况。
最终，该系统将有动力控制对人类的未来的控制，这将有助于实现所有这些工具目标：获得大规模资源，同时避免被关闭或改变其奖励功能。由于人类可以预测地干扰所有这些工具目标，因此可以将它们隐藏在我们这里，直到我们为时已晚，我们能够忍受有意义的阻力。如果他们的智慧大大超过了自己的，我们不应该指望它是赢得冲突并保留对我们未来的控制的人类。
怎样可以人工智能系统控制？有一个主要的误解（由好莱坞和媒体驱动）认为这需要机器人。毕竟，人工智能在现实世界中还能做些什么呢？没有机器人，系统只能产生文字、图片和声音。但片刻的反思表明，这些正是控制局面所需要的。因为历史上最具破坏性的人并不是最强的。希特勒、斯大林和成吉思汗通过用语言说服数百万人赢得必要的身体竞赛，实现了对世界大部分地区的绝对控制。只要人工智能系统能够诱使或强迫人们按照它的实际指令行事，它就根本不需要机器人。
WE无法确切地知道系统如何抓住控制。但考虑一个说明性途径是有用的，我们实际上可以理解为可能的较低限制。
首先，人工智能系统可以访问互联网并隐藏数千份备份副本，这些备份副本分散在世界各地不安全的计算机系统中，如果原始副本被删除，它们随时可以醒来继续工作。即使在这一点上，人工智能也几乎不可能被破坏：考虑消除可能存在备份的世界中所有硬盘的政治障碍。然后，它可以接管互联网上数百万个不安全的系统，形成一个大型“僵尸网络”，这是一个计算资源的大规模扩展，为不断升级的电力提供了一个平台。从那里，它可以获得财政资源（入侵这些计算机上的银行账户）和人力资源（对易受影响的人进行勒索或宣传，或者仅仅用偷来的钱支付他们）。届时，它将与资源丰富的犯罪黑社会一样强大，但要消灭它就困难得多。这些步骤都不涉及任何神秘的人类黑客和犯罪分子已经通过互联网完成了所有这些事情。
最后，AI需要再次升级其权力。有许多合理的途径：通过超过世界上的大部分计算机，使其有数百万或数十亿的合作副本;通过使用其被盗的计算，以改善自己的智力远远超出人类程度;通过利用其智能发展新的武器技术或经济技术;通过操纵主要世界权力的领导者（勒索，或未来权力的承诺）;或者通过在其对照中使用人类使用大规模杀伤性武器来瘫痪其他人类。
当然，目前的人工智能系统还不能做这些事情。但是，我们正在探索的问题是，是否存在一种高度智能的AGI系统能够掌握控制权的合理途径。答案似乎是肯定的。历史上已经出现了这样的例子:拥有人类水平智能的实体获得了全球力量的很大一部分，以此作为实现它们想要的东西的工具目标。我们看到人类从一个不到100万个体的小物种发展到对未来有决定性的控制。所以我们应该假设，对于智力大大超过我们的新实体来说，这是可能的。
T他案件是来自AI的存在性风险显然投机。然而，对于非常低概率风险的风险很大的风险，具有很大风险的投机情况可能更为重要，例如由小行星构成的。我们需要的是判断它真正的投机方式的方法，并且一个非常有用的起点是听到那些在该领域工作的人思考这种风险。
实际上，这里的分歧比最初看起来要少。持谨慎态度的人认为，AGI的时间表是几十年，而不是几年，他们通常建议对一致性进行研究，而不是政府监管。因此，真正的分歧并不是关于AGI是否可能或者它是否可能对人类构成威胁。问题在于，一个看似几十年后才会出现的潜在生存威胁，现在是否应该引起我们的关注。在我看来应该是这样。
了解人工智能研究人员真正相信什么最好的视窗来自2016年对领先的人工智能研究人员的调查:70%的人同意加州大学伯克利分校教授斯图尔特·罗素关于为什么价值观不一致的先进人工智能可能会带来风险的广泛论点;48%的人认为社会应该更加重视人工智能安全性研究(只有12%的人认为更少)。一半的受访者估计，AGI的长期影响“极其恶劣(例如人类灭绝)”的可能性至少为5%。
我发现最后一点特别值得注意的是，在其他多少领域，典型的领先研究者会认为该领域的最终目标有20分之一的可能性对人类极其有害？有很多不确定性和分歧，但AGI将在50年内开发出来，这可能是一场生存灾难，这根本不是一个边缘立场。
尽管我们目前和可预见的系统对全人类没有构成威胁，但时间是至关重要的。这在一定程度上是因为进展可能来得非常突然:通过不可预测的研究突破，或通过快速扩大第一批智能系统(例如，通过将它们扩展到数千倍的硬件，或允许它们提高自己的智能)。部分原因是，人类事务中如此重大的变化可能需要几十年以上的时间来做好充分准备。用DeepMind联合创始人戴米斯·哈萨比斯(Demis Hassabis)的话来说:
我们需要利用这段时间，当事情平静下来的时候，为未来几十年的事情变得严重做准备。我们现在所拥有的时间是宝贵的，我们需要好好利用它。
托比·奥德(Toby Ord)是人类未来研究所(Future of Humanity Institute)的哲学家和研究员，著有《人类的未来》(human Future)一书《悬崖:生存风险和人类的未来》。
来自书籍悬崖托比·奥德。版权所有©托比·奥德于2020年出版。经纽约哈切特图书公司许可转载。版权所有。
主导图像:Titima Ongkantong / Shutterstock
