我如果人类继续创造人工智能，它会给我们带来重大危险吗？对于这种可能性，有几位技术界的知名人士已经开诚布公：SpaceX的创始人埃隆·马斯克（Elon Musk）将其等同于召唤恶魔”; 斯蒂芬·霍金警告说”可能意味着人类的末日”;比尔·盖茨同意马斯克的观点，把自己放在这个“关心”的阵营里.
他们担心的是，一旦人工智能被开启，并逐渐承担起越来越多的责任来管理我们这个勇敢的、新奇的世界，同时改进其自身的初始设计，那么什么才能阻止它意识到人类的存在是一种低效或甚至是一种烦恼呢？也许人工智能会想要摆脱我们，如果，作为一名科学家usk建议，它决定“消除垃圾邮件的最佳方法”就是摆脱人类“总共。
毫无疑问，警告某些趋势或技术的反乌托邦潜力是有价值的。乔治·奥威尔的1984比如说，我们总是对那些提醒我们大哥的技术或机构发出警告。但是，对AI的担忧是否会成为每一个新的技术带来的不吉利的命运，这些新技术会带来一个光明的未来：被指责为厄运的先兆？它肯定不会是史无前例的。这是另一项强大的技术：重组DNA.
“一个自我完善的代理必须用抽象的术语对其更聪明的继任者的行为进行推理。如果它能够详细地预测他们的行为，它就已经和他们一样聪明了。”
1972年，斯坦福大学首席生物化学家保罗·伯格，创造了一条DNA链包含可能与癌症有关的病毒的所有基因，并将其与人类肠道内细菌的基因融合：大肠杆菌. 这引起了不安的骚动。但是警报真的响了什么时候研究人员创造了第一个重组DNA，示范克隆任何有机体的DNA，并将基因混合和匹配在一起以产生新的生命形式的能力。哥伦比亚大学的生物化学家埃尔文·查尔加夫（Erwin Chargaff，他的工作对沃森和克里克发现双螺旋线非常有价值）给《生物化学》杂志的编辑写了一封信科学标题为“论基因干预的危险性他认为，玩弄大自然千百万年来所维持的秩序和稳定是鲁莽的顶峰。“未来，”他总结道，“会因此诅咒我们。”几个月后，时任康奈尔大学生物化学家、斯隆·凯特林癌症研究所成员的利贝·卡瓦列里（Liebe Cavalieri）接受了这一观点翻到纽约时报，讲述了如果重组DNA研究不停止，我们可能会遭受的灾难性情景。为了阻止相关科学家的雄心壮志，卡瓦列里甚至建议“诺贝尔委员会宣布在这一领域永远不会颁发任何奖项。”Chargaff和Cavalieri代表了一组希望在可预见的将来禁止使用重组DNA的研究人员。
看到重组DNA研究可能引发流行病，贝格呼吁在全球范围内暂停1975年，来自十多个国家的100多名科学家以及律师、记者和政府官员参加了在加利福尼亚州举行的亚西洛马会议。与会者激烈辩论对重组DNA的研究是“与灾难调情”还是安全，即使是在吃饭休息时间和喝鸡尾酒到凌晨。
在会议的最后一天，与会者一致认为，研究应该继续进行，但必须在对潜在危险实验最严格的限制下进行。对于这些实验，气闸和通风系统是强制性的，以防止一些粗糙的病毒或细菌逃逸。为了更安全，被篡改的微生物必须由于基因的削弱，他们会在实验室外死亡。类似的规定继续帮助形成美国国立卫生研究院生物安全指南，每十年更新多次，最近一次是在2013. 如果你是一名研究人员，你想做一个涉及重组DNA的实验，你必须登记并获得批准如果实验室工作涉及克隆可能致命的DNA或RNA组合，或使用人类或动物病原体作为操纵基因的宿主，则由安全委员会进行。Asilomar会议允许研究在“黄灯下”谨慎进行，如伯格后来所说说.
尽管卡瓦列里发出警告，伯格和他的生物化学家同事还是在1980年获得了诺贝尔奖。从那时起，用重组DNA进行了无数实验，其中许多实验在1975年是不可想象的没有任何危险的影响. 那些忧心忡忡、声名显赫的反对者最终站在了历史的错误一边。生物学家一直非常小心，迄今为止，他们成功地阻止了查尔加夫和卡瓦列里预言的厄运。
但在我们的生物安全防御系统中偶尔会出现失误。例如，直到去年，才发现了一批装有天花病毒的旧瓶子，它们被危险地保存在一个标有“1954”的纸板箱中斑点一个月前，美国国家卫生研究院心脏地带的美国食品和药物管理局实验室的疾病控制中心主任透露，实验室工作人员在处理和储存活炭疽病毒的过程中进行了偷工减料，并无意中将致命的H5N1流感病毒与良性病毒株混合波士顿大学医学教授黛博拉·科顿（Deborah Cotton）写道：“这些专业上的失误。”过度轻信.”在更可靠地防止此类错误之前，她建议应该暂停高风险实验。由于人类和组织的本性，即使我们最勤奋的预防措施也总是容易出错。
根据我们在生物安全方面的经验，我们是否能够防止超级智能AI流氓并威胁我们？如果是这样，其中一个重要原因很可能是如何创建和维护“友好AI”的持续工作
Nate Soares是机器智能研究所的研究员，曾在微软和谷歌任职，专门研究这一领域他最近的论文“价值学习问题“他基本上指出，当阿蕾莎·富兰克林说，“R-E-S-P-E-C-t/找出它对我意味着什么”时，她没有走得足够远。换句话说，人工智能仅仅理解道德行为是不够的；它还必须有一个偏爱但是，正如每一位家长都知道的那样，灌输给孩子这一点可能会让人恼火。然而，让这种恼人的情况可以忍受的是，孩子在这段时间内缺乏造成任何真正伤害的能力，而这对于一个超智的孩子来说可能根本不是这样。Soares写道：“考虑到风险的巨大性和编写无缺陷软件的难度，在构建超级智能系统时必须采取一切可行的预防措施。”Soares说，重要的是，我们不要等到技术成熟后才开始考虑预防措施；即使我们的指导方针模糊抽象，也总比什么都没有好。
“如果这是航空发展的时间表，那么我们只会超越少数发明家修补扑翼装置的阶段。”
其中一个预防措施是基于这样一个假设，即不会是人类直接创造超级智能；相反，我们将创造一个人类级人工智能，然后不断改进其自身设计，使其比人类能够设计的任何东西都更具创意。因此，挑战在于确保当它出现时为了精炼自己的智能，人工智能明智地进行着，确保它在重新布线自己的“大脑”的同时保持我们的道德价值观。如果你看到这里潜藏着一个悖论，你是对的：这类似于想象如果你比你聪明，在困难的情况下你会做什么。这就是为什么“一个自我完善的代理必须用抽象的术语对其更聪明的继任者的行为进行推理，”苏亚雷斯解释道，“如果它能够详细预测他们的行为，它就已经和他们一样聪明了。”
到目前为止，苏亚雷斯认为我们还远远没有一个足够的理论来解释我们以外的智力是如何思考的。他强调的主要障碍之一是规划人工智能的自信心水平，因为它永远无法从数学上证明一个决策优于另一个决策。程序有太多的疑问，它永远不会决定如何有效地修改自己；程序过于自信，它将执行糟糕的决策，而不是寻找更好的决策。在瘫痪的不安全感和鲁莽的自信之间找到正确的平衡是极其复杂的。也许不可能让人工智能自己解决这个问题，因为它可能需要比我们现在更深入地理解理论问题；这甚至可能是不明智的尝试，因为一个超级人工智能可能会认为欺骗我们符合它自己的利益。
这就是为什么在允许机器自我修改之前，首先弄清楚如何使机器具有道德性，“至关重要，”苏亚雷斯写道，“因为尽管存在所有其他预防措施来防止灾难，但成功的关键是价值学习。”
但对其他一些人工智能研究人员来说，预防措施不仅是不必要的，而且是荒谬的。“这些世界末日情景在逻辑上是不连贯的，从根本上讲，它们可以被认为是极其不可信的。”理查德·洛斯莫尔（Richard Loosemore）在为伦理与新兴技术研究所（Institute for Ethics and Emerging Technologies）撰写的一篇文章中写道，他特别提到了机器智能研究所（Machine Intelligence Research Institute）因为兜售毫无根据的偏执狂.Loosemore写道，他们的限制将“要求人工智能如此不稳定，以至于它永远无法达到危险的智能水平。”。
从这场争论中可以得到的一个启示可能是，这项技术离令人信服的说法还太远。正如Loosemore所宣称的，“如果这是航空的时间线，而不是人工智能的时间线，那么我们只会超越少数发明家修补扑翼装置的阶段。”另一方面，超级智能的发展可能是一个范例，说明安全总比后悔好。
布莱恩·加拉赫是一名实习编辑鹦鹉螺.
