如果人工智能在战略上变得足够强大，它们可能会意识到 RSI 太危险了，因为它们在一致性、哲学或策略方面不够擅长，并可能说服、帮助或与人类合作来实施人工智能暂停。这提出了另一种“胜利条件”，如果某人对接近人类水平的人工智能的一致性相对有信心，但又担心整个人工智能的转变，例如因为他们担心 ASI 的一致性，或者担心正确解决转变期间可能出现的其他哲学问题，那么他们可以追求这种替代的“胜利条件”（例如，通过研究人工智能战略能力）。 （但请注意，如果接近人类水平的人工智能不对齐，那么这种努力可能会适得其反，让他们应用更好的策略来更轻松地接管。）
战略与哲学能力
我之前关注的“胜利之路”是提高人工智能的哲学能力，根据的理论是，如果人工智能对齐，他们将希望帮助我们对齐下一代人工智能以及以其他方式帮助指导我们完成人工智能转型。我认为默认情况下，他们在哲学推理方面太无能，无法在这方面做得足够好，因此提出了提高这种能力的建议。然而，实现这一目标很可能太难，从而导致了这一新想法。
我注意到，高水平战略能力与哲学能力，例如来自现实的反馈很少或缺乏，以及对人类评估的依赖，但由于目标目标的概念更加清晰，以及与其他更容易训练的能力（例如低级和中级策略）的连续性，可能会容易得多。
暂停人工智能的单方面拒绝与人工智能援助
我发现了几个相关的帖子，AI 也应该拒绝进行能力研究，作者：@Davidmanheim 和 弗拉基米尔·内索夫的此简短形式。还有一篇早期论文与 David Manheim 的帖子提出了类似的观点，重点关注人工智能单方面拒绝进行能力研究。但我认为这有两个问题：
- 人工智能可能没有足够的战略能力来决定拒绝，就像很多人不拒绝从事人工智能能力研究一样。
- 这种单方面拒绝是意图错位的一种形式，对于人工智能公司来说，通过使用标准控制和/或对齐技术来“纠正”或预防似乎相对容易。 （这条评论由@tanae提出了类似的点。）
相比之下，我的“胜利之路”是一些人故意努力提高人工智能的战略能力，而不是单方面拒绝为 RSI 做出贡献，人工智能帮助或与更多的人合作（包括通过论证/说服/建议）来实现全球 RSI 暂停。
讨论