F在卡内基梅隆大学的一间办公室里，我的同事约翰·米勒和我开发了一个带有种族灭绝倾向的计算机程序。
这肯定不是我们的意图。我们不是种族的学者，也不是战争。我们对原始合作的出现感兴趣。因此，我们建造了在想象中的社会中生活的机器，并使他们彼此玩游戏 - 一个人知道恰到好处的社会行为，就像一个糊状的香蕉让水果苍蝇一样。
这个游戏叫做囚徒困境。它有很多伪装，但本质上是一个关于两个人的故事，他们可以选择合作或欺骗。如果他们都作弊，他们都会遭殃。如果他们都合作，他们都会成功。但如果一方试图合作而另一方作弊，作弊者会更成功。
该游戏具有普遍性地吸引政治哲学家，而是一种严谨的特权，使得可以指导计算机模拟。作为人类行为数学研究的工具，它是伽利略的倾斜平面，或格雷戈尔门德尔的豌豆植物。你加入罢工，还是偷偷纠正纠察队？缰绳生产以保持价格高，或削减卡特尔和泛滥市场？将你的体重拉到一个研究组中，或将工作留给他人？
那些不懂密码的人有祸了。
我们的模拟很简单:在虚拟世界中，具有有限推理能力的决策机器反复玩游戏。我们是不可饶恕的算账人，奖赏富足的人，惩罚不富足的人。成功的机器将他们的策略传递给下一代，偶尔会有微小的变化，以模仿典型的文化进化的盲目扭曲。
我们还为机器提供了一种简单的语言来进行思考，并提供了足够的资源来存储并对其进行操作。每一代成对的机器都要多次面对对方。这就是生活对我们的表现:我们一次又一次地遇到我们的贸易伙伴，我们如何对待他们会产生一些后果。我们的世界模型是两个在沙滩上相遇的鲁滨逊漂流记。
当我们让这些小社会向前发展时，我们希望证实许多人认为的囚徒困境的最佳策略:以牙还牙。采用这一策略的机器一开始会遵守承诺，但一旦出现作弊行为，就会进行报复，以作弊作为回报。一报还一报是荣誉的游乐场规则:善待他人，除非他们给你其他理由——并合理地迅速原谅。
然而，当我们看着我们的模拟的输出时，策略可以自由地以任意方向发展，我们看到了一些非常不同的东西。经过早期的混乱时期，一台机器将迅速上升到统治中，占据了数百代的想象中的世界，直到突然，它崩溃了，将世界倒在其中一个循环中的冲突混乱。这种世界的考古学家将遇到厚厚的繁荣层与灰和骨骼的时代交替。
而不是一个有序的游乐场，这些游乐场由谨慎，骄傲的合作者，人口产生了对我们没有意义的奇异配置。那是，直到一个晚上，在办公室和填充图纸纸的垫子后，我们偶然发现了真相。主导机器已将球员的行为成为一个代码，当他们面对自己的副本时，他们可以认识到。
在游戏的开始步骤中，他们会发现一个独特的模式:合作，欺骗，欺骗，合作，欺骗，合作(例如)。如果他们的对手以完全相同的方式回应，即在他们作弊时作弊，在他们合作时合作，他们最终将转向永久合作阶段，以互惠互利的行动奖励对手。
然而，那些不懂密码的人有祸了。任何偏离预期顺序的行为都会招致全面而持久的战争。这样的回应可能会让两台机器都瘫痪，就像一种数字自杀式袭击。因为这个序列很难偶然发现，只有统治机器的后代才能从无私合作的邮政编码时代中获利。其他人都被杀死了，包括那些使用以牙还牙策略的人。这种主导地位将持续到几代人之间传递的代码中积累了足够多的错误，以至于主导机器停止相互识别为止。然后，他们就会彼此仇视，就像他们曾经仇视外人一样，形成一种人口层面的自身免疫疾病。
只要代码持续我们称之为Shibboleths，在部落种族灭绝在旧约的法官书中叙述之后：
而且Gileadites在以弗拉塔伊斯特之前夺取了约旦的段落：它是所以以法莲逃脱的人说，容我过去。基列人回答他说，艺术你一个以法莲吗?他若说，不是。于是对他说，你说示播列吧。他说西播列，因为他说不出话来它对。然后他们带走了他，并在约旦的段落中砸到了他：当时以爱达拉大学的那个时候摔倒了四十两。
陈规陋习是人类文化冲突的共同特征。芬兰人不会发音yksi(意思是“一个”)在芬兰内战期间被认为是俄罗斯人。如果把休斯敦街(Houston Street)读成德克萨斯州的城市，曼哈顿市中心的游客很快就会认出自己。
在这里，我们的机器利用它们有效地统治了一个种群，以至于其他种群都无法生存。即使在那个时代结束后，继承骨灰的还是他们的后代。进化的盲目之手找到了一个简单的，即使是邪恶的解决办法。
这是一个鲜明和野蛮的社会景观。但是我们已经给了我们的机器非常有限的资源思考。如果他们每个人都知道，两个完全合理的机器将如何在冲突中采取冲突，同样是完全理性的？由于合理性的本质，两个完全理性的生物面对同样的问题，应该以同样的方式表现。知道这一点，每个人都会选择合作 - 但不是脱离利他主义。每个人都会认识到，如果它被欺骗，它的对手也会，让他们在游戏中失败。
这两个端点建立了一个谱。一端是计算能力极低的机器，是文化的狭隘零点，我们发现，这自然会浓缩成一种邪恶的部落主义。另一端是完全理性行为者的必然合作。
在这条禽兽般的机器和天使般的理性之间，我们在哪里能找到人类呢?
我F我们人类是超级理性的，或者至少在我们的路上，有理由乐观。Francis Fukuyama might have been thinking along these lines when he penned his end-of-history thesis in 1992. Though Fukuyama’s argument was rooted in 19th-century German philosophers such as Friedrich Nietzsche and Georg Wilhelm Friedrich Hegel, we might rewrite it this way: A sufficiently complex simulation of human life would terminate in a rational, liberal-democratic, and capitalist order standing against a scattered and dispersing set of enemies.
福山的论点不仅仅基于哲学猜测，而且在阅读当前的事件：共产主义的崩溃，电子媒体的蓬勃发展，明显无摩擦的边界开放，股市开始史诗般的公牛跑。
今天，他的论文似乎是早期时代梦想的纪念碑（一章题为VCR的胜利）。我们的文化今天正在发展，但不是，似乎有任何和谐。21世纪的混乱使我们的模拟感到立即熟悉。9月11日之后二十年，即使是西方民主国家也愿意考虑暗模的人类行为，比福山更暗的理论者。
例如，Carl Schmitt谁看到了民主的审议元素作为窗户在更加专制的权力形式的窗户上。或罗伯特米歇尔尔斯，其对政治不平等的研究使他认为民主作为社会演变的临时阶段，以统治小型精英。随着政治极端的知识分子越来越多地看到理性政治秩序作为幻想的可能性，Shibbolls在定义种族，国家和宗教边界方面取得了作用，并再次出现了政治生活的不可征收特征。
和丰富,是一个伟大的山谷之间的这些哲学,和另一个计算机模型之间的匹配之间的简单,暴力和经理人的代理约翰•米勒,我模拟中的合作者,福山可能认为是等在历史的终结。这些模型至少鼓励了一种谨慎的乐观主义。
在伯克利的机器智能研究所(MIRI)，参加会议的研究人员研究了理性但资源有限的机器的行为，这些机器可以检查彼此的源代码。这样的透明度似乎解决了合作的问题:如果我可以通过模拟对手的源代码来预测他会做什么，我可能会认为作弊是不值得的。但是，如果我的对手的代码包含了我运行该模拟的结果的模拟，并试图利用这种知识，那该怎么办?如果没有完美理性的对称性，这个问题就会导致一些极端的心理扭曲。
MIRI里的一些机器可能会让你想起你认识的人。例如，“CliqueBot”只与共享相同源代码的任何人合作。它只关心与自己匹配的代码。另一方面，“FairBot”则试图透过表面差异来证明对手会与与自己相似的人合作。FairBot非正式地说:“如果我能证明我的对手会与我合作，我就会与他合作。”
这些机器如何相处？虽然完整的解决方案是回归的悖论，但囚犯困境支架中的预测机器行为的研究提供了舒适的答案，即使是资源有限的球员，相互合作仍然是可能的。例如，FAIRBOT可以识别类似公平的机器，即使它们具有不同的源代码，也表明多样性和合作并非不可能，至少在智力足够高时。1
甚至在光谱的剧烈末端的种族灭菌机也可以携带令人振奋的课程。它们从电路板的深处出现，在德克萨斯州的超级计算机上模拟。他们没有生物借口重新开始。Maybe we, too, shouldn’t make excuses: If a behavior is so common as to emerge in the simplest simulations, perhaps we ought neither to fear it, nor to idolize it, but to treat it, the same way we do cancer, or the flu.
如果我们看到部落主义是任何认知系统，硅或碳的天然故障怎么办？既不是普遍的真相或不可避免的罪，但要克服的东西？
西蒙DeDeo是卡耐基梅隆大学，在那里他跑了社会头脑实验室助理教授，并在圣菲研究所的外部教员。
作者要感谢艾伦图灵研究所的夏季款待，而这篇文章是写的。
该项目的计算是通过德克萨斯高级计算中心和国家科学基金会XSEDE完成的。
参考
1. Barasz，M.，等。囚犯困境中的强大合作：通过可保释逻辑计划均衡。arXiv1401.5577（2014）。
