早在 2014 年，英国物理学家史蒂芬‧霍金（Stephen Hawking）接受英国 BBC 采访时就曾预言：“全面性的开发人工智能有一天可能会导致人类灭亡！”，今年 4 月在北京全球移动互联网大会上，霍金的远程视讯演讲又再度提到 AI 发展议题，他忧心地表示，“人工智能一旦脱离束缚，人类将不可能与之竞争”。
AI 失控会威胁人类？如何让它“关机”
霍金和其他在“生命未来研究所”（Future of Life Institute）的科技企业家如 Tesla CEO 伊隆‧马斯克（Elon Musk）等 1000 多名人工智能领域研究的重要专家就曾共同发表公开信，表示人工智能可以带给社会极大帮助，但其深远影响也值得各界深思协商，不可控制的人工智能会带给世界多大的威胁，没有人能做担保。
去年，Google 旗下的伦敦人工智能研究公司 Deep Mind 与英国牛津大学人类未来研究所（Future of Humanity Institute）与机器智慧研究所（Machine Intelligence Research Institute）联合发表了〈可被安全中断的人工智能〉研究报告，提出帮人工智能加上“红色按钮”的方法，防止人工智能高度发展后伤害人类或环境，并指出如何让人工智能无法学会让红色按钮失效。
不过，目前该团队只有部分算法可以达到“红色按钮”的目标，而中断人工智能的运作，其他部分则无法安全中断，需要再接再厉。
不过帮人工智能加上开关是不是可行的解决办法，目前还没有定论，如瑞典哲学家 Nick Bostrom 在 Ted Talk 中就抱持不同的意见，他认为，即使情况需要，人类也不一定会按下开关，如即使知道我们过度依赖网络，我们也不会主动把网络关掉。
为了测试人工智能是否可以被中断运作，加州柏克莱大学（University of California, Berkeley） 的研究团队设计了名为“关开关”（Off-Switch Game）的测试。在这个测试中，机器人被指定完成任务，而人类可以在任何时刻按下机器人关机键接手完成任务。
顺我者昌，逆我者亡——要关掉方便的 AI 吗？
不过机器人也可以选择让关机键失效。在测试中，被给予高度“信心”的机器人从不让人类把自己关掉，因为自己的工作效能大于人类；而“自信心不足”的机器人则可以轻易让人类接手工作。
团队中的博士生成员 Dylan Hadfield-Menell 表示，让机器人信心不足并不是好事，如由 AI 驾驶的无人车送小孩去上学时，任何时刻 AI 都不应该让小孩接手驾驶。
太顺从人类的意志不一定是好事，像是大家每天使用的脸书，脸书的算法顺从人意，尽把我们想看的动态送到我们面前，这样的“过滤泡泡”（Filter Bubble），却使推播的信息把我们困在“同温层”里，使得动态墙可能出现错误或虚假的新闻。
进化历程脱离掌控，AI 会终结人类吗？
对于 Handfield-Menell 团队的成员来说，“关开关”测试只是开始，他们会接续一连串测试机器人决策过程的实验，希望了解机器人在得取不同程度的信息时，会如何影响 AI 做出最终决定。
因为在不太久的未来，当我们送出更多机器人上街或在公司、工厂甚至餐厅、便利商店工作时，我们需要知道，他们会不会因为比人类更快速的演化，最终作出不利人类全体利益的决定，像阿诺史‧瓦辛格主演的电影那样，成为真实的“魔鬼终结者”。
