发现自我提升AI中的自我参照推理问题

当涉及到人工智能时，“安全”和“不安全”行为的构成往往存在争议。正如DeepMind的AGI安全研究员Ramana Kumar指出的，这些术语是主观的，“只能根据人工智能系统的用户和受益者的价值来定义。”

幸运的是，当面临与创建安全AI代理相关的技术问题时，这些问题通常可以避免，因为这些问题与确定正确或道德上适当的问题无关。相反，从技术角度来看，“安全”一词的最佳定义是AI代理，它始终如一地采取行动来实现期望的结果，无论这些期望的结果可能是什么。

对此，库马尔解释说，在创建负责自我完善的AI代理时，“构建安全代理的技术问题在很大程度上与“安全”的含义无关，因为很大一部分问题都解决了。建立一个代理，以可靠的方式执行某件事，无论它是什么，即使考虑中的代理越来越有能力，该方法也将继续工作。”

简而言之，制造“安全”的人工智能代理不应与制造“道德”的人工智能代理混淆。他们的术语在谈论不同的事情。

总的来说，回避安全的道德定义会让AI技术的工作变得容易得多，这使得研究得以发展，关于道德问题的争论也在不断发展。例如，优步的自动驾驶汽车已经在街上行驶，尽管我们还没有就是否应该保护司机或行人的安全达成共识。

然而，当我们想要创建一个强大而安全的、能够自我完善的AI系统时，技术工作就变得困难得多，该领域的研究还处于起步阶段。这主要是因为我们面对的不止一个AI代理。我们面对的是未来几代自我完善的代理人。

库马尔澄清说：“当一个AI代理正在自我完善时，人们可以把这种情况看作涉及两个代理：父母自己修改的“种子”或“父母”代理和“孩子”代理.以及他们的总数。因此，为了知道我们已经创建了一个安全的人工智能代理，我们需要知道可能来自第一个代理的所有子代理。