人工智能与斯图尔特·拉塞尔的控制问题

斯图尔特拉塞尔是人工智能的真正先驱之一，几十年来一直处于该领域的前沿。他的专业知识和前瞻性思维在最新作品《人类兼容：人工智能与控制问题》中达到了高潮。书是基石，还有超级智能和生命3.0，说明了文明的规模。我们面临着以机器智能为目标的人类目标和价值观。这不仅是对AI对齐的进一步阐述和发展，也是Stuart提出的一个新颖的解决方案，它使我们能够更好地理解创造有益的机器智能需要什么。

“我认为在2013年左右，真正让我震惊的是，我们一直在错误地思考AI。我们设置整个领域的方式，基本上就是人类智慧的翻版，因为如果人类的行动达到了目的，那么人类就是智慧的。因此，如果机器的动作达到了目标，机器就应该是智能的。那么，当然，我们必须以奖励函数或成本函数或逻辑目标陈述的形式提供目标。这是可行的。当机器愚蠢时，它可以工作。而且，如果你提供了错误的目标，你可以重置它们并修复目标，并希望这台机器所做的工作会真正帮助你。但是如果机器比人类聪明，给它们错误的目标，基本上就是在人类和机器之间设置一个棋局，而这个机器的目标和我们自己的目标是背道而驰的。我们赢不了那场象棋比赛。”

“因此，当一个人给另一个人一个目标时，这显然不是人生唯一的使命。因此，如果你请别人喝咖啡，并不意味着不惜一切代价也要喝咖啡。一般来说，这只是意味着我宁愿喝咖啡，但知道，不杀任何人喝咖啡。不要清空我的银行账户买咖啡。不要在沙漠中跋涉300英里去买咖啡。在人工智能的标准模型中，机器对此一无所知。它只有一个目标，这是人生唯一的目的。更一般的模型是机器理解人有一定的整体偏好结构，这个具体目标只是带咖啡或者带我去机场的部分体现。机器的目的应该是帮助人们以最好的方式实现他们的整体偏好结构。如果目前正好包括一杯咖啡，那就太好了，或者带他去机场。然而，机器总是知道并且不完全理解这个更大的偏好结构。一种思路是说AI的标准模型假设机器对目标有完整的知识，而我提出的模型假设模型对目标有不完善的知识或部分知识。所以，这绝对是一个比较普遍的情况。”

“目标是重新定位人工智能领域，以便我们能够在未来构建与标准模型不同风险的系统.这是我认为人工智能社区的第一步。最后，我们需要继续采用另一种方式。因为这是机器变得更智能的唯一途径。我们不能忍受标准模式，因为正如我所说，目标不正确的系统可能会带来任何不良后果。”