在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。

通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功，例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。

随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物。

由于这种智能是被人工智能工具放大过的，我们无法预测我们可能取得什么成果。但是，正如我说过的那样，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何(从人工智能中)获益并规避风险是非常重要的。

现在，关于人工智能的研究正在迅速发展，这一研究可以从短期和长期两个方面来讨论。短期的担忧主要集中在无人驾驶方面，包括民用无人机、自动驾驶汽车等。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小概率的大事故和大概率的小事故之间进行选择。

另一个担忧则是致命性的智能自主武器。他们是否该被禁止?如果是，那么“自主”该如何精确定义;如果不是，任何使用不当和故障的过失应该如何问责。此外还有一些隐忧，包括人工智能逐渐可以解读大量监控数据引起的隐私问题，以及如何掌控因人工智能取代工作岗位带来的经济影响。

长期担忧主要是人工智能系统失控的潜在风险。随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统会威胁到人类。这样的结果是否有可能?如果有可能，那么这些情况是如何出现的?我们又应该怎样去研究，以便更好地理解和解决危险的超级智能崛起的可能性?

当前控制人工智能技术的工具(例如强化学习)以及简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。

近来(人工智能领域的)里程碑，比如说之前提到的自动驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入正在倾注到这一领域。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。

而且当我们的头脑被人工智能放大以后，我们更不能预测我们能取得什么成就。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害问题，关乎到我们生活的各个方面也即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。

但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令，我们正在焦急的等待协商结果。

目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，而最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。

这一结果将使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。

现阶段，我对灾难的探讨可能惊吓到了在座的各位，很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。

我相信我们会团结在一起，共同呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。

去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心(The Leverhulme Centre for the Future of Intelligence)”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看，大多数是关于愚蠢的历史，所以人们转而研究智能的未来是令人欣喜的变化。

虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。