部落主义是一种自然失调吗?

F在卡内基梅隆大学的一间办公室里，我的同事约翰·米勒和我开发了一个带有种族灭绝倾向的计算机程序。

这肯定不是我们的意图。我们不是种族的学者，也不是战争。我们对原始合作的出现感兴趣。因此，我们建造了在想象中的社会中生活的机器，并使他们彼此玩游戏 - 一个人知道恰到好处的社会行为，就像一个糊状的香蕉让水果苍蝇一样。

这个游戏叫做囚徒困境。它有很多伪装，但本质上是一个关于两个人的故事，他们可以选择合作或欺骗。如果他们都作弊，他们都会遭殃。如果他们都合作，他们都会成功。但如果一方试图合作而另一方作弊，作弊者会更成功。

该游戏具有普遍性地吸引政治哲学家，而是一种严谨的特权，使得可以指导计算机模拟。作为人类行为数学研究的工具，它是伽利略的倾斜平面，或格雷戈尔门德尔的豌豆植物。你加入罢工，还是偷偷纠正纠察队？缰绳生产以保持价格高，或削减卡特尔和泛滥市场？将你的体重拉到一个研究组中，或将工作留给他人？

那些不懂密码的人有祸了。

我们的模拟很简单:在虚拟世界中，具有有限推理能力的决策机器反复玩游戏。我们是不可饶恕的算账人，奖赏富足的人，惩罚不富足的人。成功的机器将他们的策略传递给下一代，偶尔会有微小的变化，以模仿典型的文化进化的盲目扭曲。

我们还为机器提供了一种简单的语言来进行思考，并提供了足够的资源来存储并对其进行操作。每一代成对的机器都要多次面对对方。这就是生活对我们的表现:我们一次又一次地遇到我们的贸易伙伴，我们如何对待他们会产生一些后果。我们的世界模型是两个在沙滩上相遇的鲁滨逊漂流记。

当我们让这些小社会向前发展时，我们希望证实许多人认为的囚徒困境的最佳策略:以牙还牙。采用这一策略的机器一开始会遵守承诺，但一旦出现作弊行为，就会进行报复，以作弊作为回报。一报还一报是荣誉的游乐场规则:善待他人，除非他们给你其他理由——并合理地迅速原谅。

然而，当我们看着我们的模拟的输出时，策略可以自由地以任意方向发展，我们看到了一些非常不同的东西。经过早期的混乱时期，一台机器将迅速上升到统治中，占据了数百代的想象中的世界，直到突然，它崩溃了，将世界倒在其中一个循环中的冲突混乱。这种世界的考古学家将遇到厚厚的繁荣层与灰和骨骼的时代交替。

而不是一个有序的游乐场，这些游乐场由谨慎，骄傲的合作者，人口产生了对我们没有意义的奇异配置。那是，直到一个晚上，在办公室和填充图纸纸的垫子后，我们偶然发现了真相。主导机器已将球员的行为成为一个代码，当他们面对自己的副本时，他们可以认识到。

在游戏的开始步骤中，他们会发现一个独特的模式:合作，欺骗，欺骗，合作，欺骗，合作(例如)。如果他们的对手以完全相同的方式回应，即在他们作弊时作弊，在他们合作时合作，他们最终将转向永久合作阶段，以互惠互利的行动奖励对手。

然而，不幸的是，那些不知道密码的人。任何偏离预期顺序的行为都会导致全面和永久的战争。这样的反应可能会使这两台机器都瘫痪，就像一种数字自杀式攻击。因为这个序列很难被偶然发现，只有统治机器的后代才能从无私合作的后代码时代获益。其他所有人都被杀了，包括那些使用针锋相对策略的人。这种支配将持续到代际间传递的代码中累积了足够多的错误，使支配机器停止相互识别为止。然后，他们会像曾经反对外来者一样，以一种人群水平的自身免疫性疾病的方式互相攻击。

在《旧约》的《法官之书》中叙述了部落灭绝种族事件之后，只要这些法典继续存在，我们就称之为“什叶派”：

基列人在以法莲人面前攻取约旦河的通道，那地方就荒凉了所以以法莲逃脱的人说，容我过去。基列人回答他说，艺术你一个以法莲吗?他若说，不是。于是对他说，你说示播列吧。他说西播列，因为他说不出话来它正确的。他们就拿住他，在约旦河边杀了他。那时以法莲人仆倒四万二千。

陈规陋习是人类文化冲突的共同特征。芬兰人不会发音yksi(意思是“一个”)在芬兰内战期间被认为是俄罗斯人。如果把休斯敦街(Houston Street)读成德克萨斯州的城市，曼哈顿市中心的游客很快就会认出自己。

在这里，我们的机器利用它们有效地统治了一个种群，以至于其他种群都无法生存。即使在那个时代结束后，继承骨灰的还是他们的后代。进化的盲目之手找到了一个简单的，即使是邪恶的解决办法。

这是一个严峻而残酷的社会环境。但我们给机器的思考资源非常有限。如果两台完全理性的机器都知道另一台机器同样完全理性，那么它们在冲突中会如何行动？根据理性的本质，两个完全理性的人，面对同样的问题，应该以同样的方式行事。知道这一点，每个人都会选择合作，但不是出于利他主义。每个人都会认识到，如果自己作弊，对手也会作弊，这使得他们在游戏中都是失败者。

这两个端点建立了一个谱。一端是计算能力极低的机器，是文化的狭隘零点，我们发现，这自然会浓缩成一种邪恶的部落主义。另一端是完全理性行为者的必然合作。

在这条禽兽般的机器和天使般的理性之间，我们在哪里能找到人类呢?

我如果我们人类是超级理性的，或者至少在我们到达那里的路上，我们有理由保持乐观。弗朗西斯·福山（Francis Fukuyama）在1992年撰写其历史终结论文时可能一直在思考这些问题。尽管福山的观点植根于19世纪的德国哲学家，如弗里德里希·尼采（Friedrich Nietzsche）和乔治·威廉·弗里德里希·黑格尔（Georg Wilhelm Friedrich Hegel），但我们可以这样改写：一个足够复杂的人类生活模拟将在一个理性、自由民主和资本主义秩序中终结，而这个秩序将与分散的敌人对抗。

福山的论点不仅仅基于哲学猜测，而且在阅读当前的事件：共产主义的崩溃，电子媒体的蓬勃发展，明显无摩擦的边界开放，股市开始史诗般的公牛跑。

今天，他的论文似乎是早期时代梦想的纪念碑（一章题为VCR的胜利）。我们的文化今天正在发展，但不是，似乎有任何和谐。21世纪的混乱使我们的模拟感到立即熟悉。9月11日之后二十年，即使是西方民主国家也愿意考虑暗模的人类行为，比福山更暗的理论者。

例如，Carl Schmitt谁看到了民主的审议元素作为窗户在更加专制的权力形式的窗户上。或罗伯特米歇尔尔斯，其对政治不平等的研究使他认为民主作为社会演变的临时阶段，以统治小型精英。随着政治极端的知识分子越来越多地看到理性政治秩序作为幻想的可能性，Shibbolls在定义种族，国家和宗教边界方面取得了作用，并再次出现了政治生活的不可征收特征。

和丰富,是一个伟大的山谷之间的这些哲学,和另一个计算机模型之间的匹配之间的简单,暴力和经理人的代理约翰•米勒,我模拟中的合作者,福山可能认为是等在历史的终结。这些模型至少鼓励了一种谨慎的乐观主义。

在伯克利的机器智能研究所(MIRI)，参加会议的研究人员研究了理性但资源有限的机器的行为，这些机器可以检查彼此的源代码。这样的透明度似乎解决了合作的问题:如果我可以通过模拟对手的源代码来预测他会做什么，我可能会认为作弊是不值得的。但是，如果我的对手的代码包含了我运行该模拟的结果的模拟，并试图利用这种知识，那该怎么办?如果没有完美理性的对称性，这个问题就会导致一些极端的心理扭曲。

MIRI里的一些机器可能会让你想起你认识的人。例如，“CliqueBot”只与共享相同源代码的任何人合作。它只关心与自己匹配的代码。另一方面，“FairBot”则试图透过表面差异来证明对手会与与自己相似的人合作。FairBot非正式地说:“如果我能证明我的对手会与我合作，我就会与他合作。”

这些机器如何相处？虽然完整的解决方案是回归的悖论，但囚犯困境支架中的预测机器行为的研究提供了舒适的答案，即使是资源有限的球员，相互合作仍然是可能的。例如，FAIRBOT可以识别类似公平的机器，即使它们具有不同的源代码，也表明多样性和合作并非不可能，至少在智力足够高时。¹

即使是极端暴力的种族灭绝机器也可能带来令人振奋的教训。他们从德克萨斯州一台超级计算机上模拟的电路板深处出现。他们没有生物学上的借口可以依靠。也许我们也不应该找借口：如果一种行为如此普遍以至于出现在最简单的模拟中，也许我们不应该害怕它，也不应该崇拜它，而是应该像对待癌症或流感一样对待它。

如果我们将部落主义视为任何认知系统（硅或碳）的自然故障，该怎么办？既不是普遍真理，也不是不可避免的罪恶，而是需要克服的东西？ 

Simon Dedeo是Carnegie Mellon Univity的助理教授，他在那里运营了社会思想的实验室，以及Santa Fe Institute的外部教师。

作者要感谢艾伦图灵研究所在撰写本文期间的盛情款待。

该项目的计算是通过德克萨斯高级计算中心和国家科学基金会XSEDE完成的。

参考

1.巴拉兹，M。，等. 囚徒困境中的稳健合作：通过可证明逻辑的程序均衡。arXiv1401.5577（2014）。

本文最初发表于2017年9月的“蜂巢”问题。