世界末日对大多数人来说可能只是随便想想，但对有些人来说，这却是一种职业。英国牛津大学人类未来研究所专门研究人类的宏观未来。你也许认为这研究所研究的危险应该是核战争或者彗星撞击，但是令人意想不到的是AI带来的威胁可能更严重。计算机会不会智能到足以成为我们的竞争对手，抢走我们的工作岗位，并最终消灭我们？这个终结者系列电影里面的场景看起来像科幻小说，但关注AI研究的人员对此非常担忧。

该研究所一名专注于AI领域的研究人员Stuart Armstrong说：我认为很多学术论文关注屎壳郎或者星际迷航，而不是实际存在的风险，世界上很少有研究机构调查这些大规模的风险，也很少有专门的研究，但是那些小的风险，例如交通安全之类的研究却比这多得多。

Armstrong解释说：AI让人恐怖的地方在于它是为数不多的真正能够灭绝全人类的技术，而其他的威胁，比如核战争，它的毁灭范围有限，即使加上核辐射、核冬天影响，也很难使整个人类灭绝，流行病也一样，即使它们的毒性很强。

当AI和人类相遇在酒吧&hellip&hellip

Armstrong说：真正可怕的是它们的智力，实际上它们比我们更聪明、更擅长社交，当AI以机器人形式走进一个酒吧，然后用它们的武器赶走所有的男人和女人，那时它们才真的可怕。

Armstrong认为，首先技术上的影响是我们几乎完全失业。你可能需要一个AI，它拥有人类的智力，复制一百次，训练它一百个不同的职业，复制那些一百次，你将在一百个行业里面拥有一万名高级员工，也许一个星期训练完成，或者你可以把它复制的越来越多，成千上万的员工&hellip&hellip如果它们真的是超人，性能肯定比我描述的更强。

AI为什么会终结人类

好吧，它们抢走了我们的工作，但是，它们会将我们全部消灭的说法是不是太荒唐了呢？谷歌工程总监Ray Kurzweil对此持乐观看法，天网不会成为现实，如果真的有天网，它也不一定背叛它的创造者，但是Armstrong认为我们应该未雨绸缪。

争论的第一点是它们很聪明，非常强大，第二点是它很难设计出某种积极的结构或程序，让这样强大的&lsquo人类&rsquo为我们所用。

要设计一个专门的反病毒程序来过滤电子邮件中的病毒或者想要控制它的程序，Armstrong继续说，它将意识到杀死每个人可以解决所有问题，因为如果它杀死所有人，关闭所有的电脑，就不会有更多的电子邮件发送过来，也就没有病毒。

这是一种不恰当的例子，但它足以说明的一点是，对于机器人来说，这是一个可能的方案。难道我们就不能设计出一个不消灭人类的程序吗？事实证明，这是一个更复杂的程序，远远超过我们的预想，比如我们需要定义人是什么，生与死是什么等等，我们需要做的就是对人类的美好生活做出定义，以及什么东西是不允许干涉的，什么东西是允许干涉的等等，然后将这些代码植入AI。

不确定不等于安全

Armstrong描绘了一幅AI统治世界的可怕情景，但这是不可避免的吗？他说，这还不确定，但是我们不应该掉以轻心。

持续增加的不确定性不是一个好迹象，人们的理解往往是不确定性在增加，但我们是安全的。

因此如果他们说不确定性在增加，几乎经常是风险的概率在增加，&lsquo我们不知道AI这个东西&rsquo和&lsquo我们的AI是安全的&rsquo是两码事。

我们看到的AI会是什么样子

至于什么时间我们将拥有超级AI，Armstrong承认这是一个很难回答的问题，我们可能几百年也不会实现，但还有其他的方法，人们追求全脑仿真，就是模仿人类大脑的想法并在计算机上实例化它们，这个看上去似乎更靠谱一点，因为不同于AI，我们知道想要什么，有明确的目标，这也许可以在本世纪实现。

如果计算机只是能和人类一样思考，结果可能也不会如前文所说的那般糟糕。Armstrong说：全脑仿真&hellip&hellip这将是一个真正的人类思维，所以我们不必担心&lsquo保证人类的安全&rsquo被错误理解，我们需要担心的是如何约束这种强大的&lsquo人类&rsquo，但这个挑战完全不同于有着外星人思维的AI。

和Armstrong的谈话使我意识到哲学家的重要性，他们在人类如何处理越来越聪明的技术时扮演了重要的角色。

Armstrong将他的工作比作计算机编程，我们试着将一切都分解成最简单的条款，如果你试图对一个AI或任何电脑上编程，编程经验是非常有用的，但幸运的是，哲学家特别是分析哲学家，已经这样做了，你只需要扩展程序，所以你只需要看看你有什么，如何建立在它上面。

AI威胁到你的工作

Armstrong面临的最大问题是人们没有认真对待那些来自AI大规模灭绝的威胁。人类处理极端风险的手段非常有限，人类只是没有准备好对付高强度、低概率的东西&hellip&hellip不过Armstrong还是取得了一定的进展，当A对我们的实际生活影响I越来越大的时候，例如人工智能已经逐渐代替我们工作时，人们开始感到担忧，这是非常合理的担忧，相对于大规模灭绝，人们似乎更关注这种对自己生活产生影响的威胁。

AI几乎可以代替任何人，包括各类专业人员，我发现人们更喜欢听我谈论人类将失去自己喜欢的工作，而不是人类灭绝，前者比后者更真实。

我们也许距离电影《终结者》里面的情节很远，不过也许这根本不会出现，但是自主机器人在未来的战场上具备杀人能力已经引起很多人的担忧。AI的不确定性就是我们为什么不能忽视Armstrong警告的原因，当机器增强时，我们需要做好准备。