W内特·苏亚雷斯自己就是心理分析学家，他听起来与其说是弗洛伊德式的，不如说是斯波肯式的。他曾是谷歌软件工程师，现在是非营利机构机器智能研究所(Machine Intelligence Research Institute)的负责人博客去年。“我本能地认为，那个人一定是有恶意的。”读过或听过大卫·福斯特·华莱士的书的人都有这个习惯“这是水”言语可以识别。
后来苏亚雷斯意识到了这一愚蠢，他在同一篇文章中写道，当他的“他人模型”变得“足够多样化”——这并不是说它们是万无一失的。“我可能还是会偶尔相信某人是恶意的，而他们仅仅是出于恶意和我不同特别是当他们大部分时间的行为都与我相似时(因此我的个人建模师也会像我一样为他们建模)。”他怀疑这种“失败模式”与“典型思维”谬论有关，“因此，”他总结道，“一般来说很难击败。”
克服偏见是苏亚雷斯的核心关注点之一——“我非常关心有没有准确的信念，”他说，其中之一就是偏见，即人工智能会恰巧站在我们这边，就像一个由慈爱的父母所生的孩子。苏亚雷斯不同意：这取决于我们如何做到这一点。这就是“一致性问题”。使人工智能的行为与我们的价值观和目标一致不是一件小事。事实上，根据苏亚雷斯的一位雇员、决策理论家埃利泽·尤德科斯基（Elizer Yudkowksy）的说法，这可能是如此具有挑战性，如此重要，以至于它定义了我们的时间。Yudkowksy在推特上的个人简历写道：“我们的时代是人工智能对齐理论不足的时代。关于这个时代的任何其他事实都相对不重要……”他最近说相信Neil Degrasse Tyson将超级智能机器“在一个盒子里，”与互联网的断开连接，是一个糟糕的保障，用于一个未对准的ai和哀叹史蒂文·平克对人工智能安全的误解。捐赠者认为该研究所的使命是值得的：2017年12月，其中341人有天赋的这是250万美元。
在过去的几个月里，我一直与电子邮件拍卖相对相信为什么，除了其他事情，一个错位的ai不需要恶意，以造成伤害。
AI怎么会伤害我们？
当外行想象AI出错时，他们通常会想象终结者电影，但我认为是1940年迪士尼电影的“魔法师的学徒”短片幻想曲这是一个更好的虚构的例子。当米奇对扫帚施魔法帮助他填满坩埚时，他面临的问题不是扫帚反抗或获得了自己的意志，而是扫帚很好地完成了赋予它的任务。1这项任务是在一个复杂的物理环境中进行的，这使得很难完全说明米奇真正关心的一切。他想让坩埚装满水，而让车间里的水溢出来是一个让人对坩埚装满（并保持装满）格外自信的好方法。米奇成功地“瞄准”了他的人工智能系统，但米奇的情况仍然很糟糕。
今天的人工智能系统在狭窄的领域工作，会危及我们吗？
不是今天，但随着人工智能系统越来越善于发现聪明的策略，以及它们在更复杂的情况下工作，我们就越来越难找到我们可以瞄准它们的方向，从而获得好的结果。即使我们确实知道瞄准非常聪明/有能力的系统的方向，从而使它们的目标与我们实际想要的结果一致，但我们仍然需要还有一个问题，我们还没有很好地理解如何将一个高性能的优化过程指向一个特定的方向。我认为这个问题更抽象，但也更重要。
你的自动驾驶汽车或Go引擎“苏醒”不会有危险。
您如何描述一个高效的优化过程？
我们可以将“有效”或“有能力”的AI系统视为非常擅长识别行动序列(当执行这些行动时，会产生特定结果)的系统。为了在复杂的现实场景中做到这一点(比如想出一个科学实验的想法或未来技术设备的蓝图)，人工智能系统需要能够建立和操作世界的精确模型。世界是一个复杂的地方，第一个能够建模和管理这种复杂性的人工智能系统很可能本身就是复杂的系统。如果我们不小心，我们就会陷入这样一种境地:我们拥有一个功能强大的系统，但却没有人能完全理解其运行的原因。
我们为什么要担心不理解人工智能的工作原理呢?
例如，我们无法通过了解这些努力是如何产生的，并确保机器执行的每一次计算都是为特定目标服务的，来指导系统的工作。相反，我们将被降级为使用更间接和表面的方法来指导解决问题的工作以期望的方式，例如，我们奖励系统的行为，我们认为良好，并惩罚它的行为，我们认为不好。我基本上认为表面层方法会失败。
你的下一个好朋友可能是机器人
2014年7月下旬的一个晚上，中国报纸《南方周刊》的一名记者采访了一位名叫小冰（发音为邵冰）的17岁中国女孩。记者刘军通过流行的社交网络平台微博在线进行了采访。那是。。。阅读更多
为什么你认为间接控制人工智能的方法会失败？
考虑到自然选择的情况，积极的奖励基因组，促进生物体的健身并惩罚降低健身的基因组。This eventually resulted in genomes that coded for a highly capable generally intelligent reasoning system (the human brain), but the result is an enormous and complicated kludge, endowed with hopes and fears and dreams that, in today’s world, often have nothing to do with genetic fitness, or even actively conflict with fitness (in, for example, the case of birth control). Which is to say, it’s quite possible to design a training regime that rewards an AI system for the desired behavior and punishes it for undesirable behavior, only to have it end up pursuing goals only loosely correlated with the desired behavior. Engineers can take these worries into account and deliberately design systems to avert these concerns, but it’s likely to take a fair amount of extra work. If we drop the ball on these problems the likely outcome is disaster, though it’s hard to predict the shape of the disaster without knowing the details of how and when we’ll get to smarter-than-human AI.
你担心狭义情报ai会逐渐模糊到一般情报ai吗？
DeepMind的一些成果给我留下了深刻的印象，包括AlphaZero。这并不是说AlphaZero必然具有一般智力的种子。虽然这肯定是相当多更多比深蓝色将军更重要，值得一提。不过，我并不太担心狭隘的人工智能会模糊成一般的人工智能：我希望后者会涉及到架构挑战，我不希望狭隘的系统在日常操作过程中会遇到这些问题。有一天，你的自动驾驶汽车或你的围棋引擎“苏醒”并成为人工通用智能不会有危险。我强烈期望，如果一个人想要DeepMind的系统成为一个通用推理机，他们必须从一开始就将其构建成一个通用推理机。这就是说，预测明天的人工智能系统将是一项众所周知的艰巨任务，因此我在这方面保留了很多不确定性。
如果我们不小心，我们就会陷入这样一种境地:我们拥有一个功能强大的系统，但却没有人能完全理解其运行的原因。
为什么你说你不参与AI道德？
在我看来，“人工智能道德”涵盖的内容包括确保自动驾驶汽车能够解决无轨电车问题，或制定社会政策，如基本收入，以应对自动化，或思考如果你制造有意识的机器，你应该赋予机器什么样的法律权利。这些不是我关注的问题。我的重点大致围绕着这个问题：“如果你给了我用于自动化科学研究和技术创新的算法，我如何能安全地使用这些算法来完成重要任务？”如果传统能力研究是关于开发能够解决日益困难的问题的系统，对齐研究是为了确保我们能够可靠地将这些能力瞄准我们想要解决的问题，即使我们的人工智能算法比我们拥有多得多的科学和技术能力。
你在谷歌的工作是如何让你今天来到这里的?
2012年左右，在谷歌雇用，我遇到了声称AI的论据，特别是可以做小说科学和工程工作的AI系统 - 可以加速技术进步并产生巨大的良好，如果顺序良好。我花了一些时间检查这些论点，而（我的惊喜）发现它们是坚实的。我还发现，在我预期的那样，没有像拼图的对齐部分一样多的研究人员。而且，当然，我发现这个话题令人着迷：智力在许多方面仍然是一个谜，而且AI是那些令人兴奋的科学边界之一，我喜欢学习AI的方式帮助我改善我对自己的理解。机器智能研究所是工作AI对齐的很少有组织之一。我于2013年中期取得联系，并要求Miri，他们需要哪种资源来加速他们的对齐研究。六个月后 - 经过一些非常密集的学习数学和AI - 他们聘请了我作为研究人员。一年多一点后，我是Miri的执行董事。
谷歌不接受对齐研究吗？
不，他们也不是特别不接受。2012年，当前关于通用人工智能的炒作浪潮尚未开始，关于人工智能的长期技术轨迹和影响的讨论也不多。这有所改变。例如，如今，谷歌DeepMind、OpenAI和FAIR（代表Facebook人工智能研究）等知名团体都有明确的目标来开发“通用人工智能”或“人类级人工智能”。但谷歌直到2014年才收购DeepMind，而在2012年，研究界更倾向于关注狭窄的应用程序。在调整方面仍然有令人惊讶的少量工作，不仅仅是在谷歌，而是在总体上。我要说的是，谷歌在对齐研究方面的工作从2016年开始，有几个重要的里程碑：DeepMind成立了对齐研究团队，谷歌大脑、开放人工智能和斯坦福大学的研究人员发布了一份可靠的研究议程。”人工智能安全中的具体问题.”
你在雇佣一个机器学习的图书馆员。那是什么？
我们有一束在机器学习空间工作的研究人员，如果有一个专家对该领域的大条滑动（谁能快速回答问题，点人物，那么他们的工作似乎通常可以加速他们的工作到文献的相关部分，等等）。我是专业劳动力的粉丝，这似乎是一个从专业化获得的地区成熟。Sometimes we’re looking to hire researchers who have their own ideas about how to pursue AI alignment, and other times we’re looking to hire researchers and engineers who can dramatically speed up our ability to pursue promising areas of research that we’ve already picked out, and I think it’s important to be clear about which positions are which.
布莱恩·加拉赫是该网站的博客编辑鹦鹉螺。在推特上关注他@BSGallagher．
