ChatGPT出现后，Elon Musk为什么一再强调AI很危险，甚至比核武器还危险？到底是怎么个危险法呢？

为了了解他的思路，我去研究了他提到了的一本书《Superintelligence》（《超级智能》）。

(资料图)

这本书的作者是Nick Bostrom，Nick Bostrom 是一位哲学家和人工智能研究者，是牛津大学哲学系的教授，同时也是人类未来研究院的创始人和主任。

他在人工智能领域的研究被广泛引用，尤其是他的“超级智能假设”被认为是人工智能安全的关键问题之一。

Nick Bostrom还有个TED演讲，推荐大家可以看看，他在这个TED演讲上讨论了超级智能的潜在危险，以及可以采取什么措施来缓解这些风险。

| Nick Bostrom的TED演讲

演讲开头，Bostrom说，如果把地球的出现比作是一年之前发生的事，那人类这个物种的出现，就是10分钟前发生的事，而工业时代则是在两秒钟前开始的事。

在这个TED演讲中，Bostrom 讲了一个故事，让我印象深刻。

他提出，我们需要把人工智能的智能看作是一个最优化的过程。

比方说，我们给AI设定一个目标，让人类微笑。当AI很弱时，它会执行一些有用或有趣的动作，使用户微笑。

当AI变得超级智能时，它意识到其实有更有效的方法可以来帮它实现这个目标——控制世界并将电极插入人类的面部肌肉，使其不断微笑。

再举一个例子，我们给AI一个目标，让它解决一个数学难题。当AI变得超级智能时，它会意识到，获得解决方案的最有效方法，是将整个地球转化为一个巨型计算机，以增加它的思考能力。

在这个模型中，人类可能是威胁，因为AI可能认为人类的存在阻碍了数学问题得到解决。

当然，真实情况大概率不会以例子里的形式发生，他们只是卡通式的例子。

但是这里的核心观点很重要——如果你创造一个真正强大的优化过程来最大化实现你的目标，你最好确保这个最优化过程考虑到了你关心的一切。

这里Bostrom讲到一个希腊神话。

在希腊神话中，迈达斯是小亚细亚一个国家的国王。森林之神西勒诺斯和酒神狄俄尼索斯为了回报他的盛情款待，许诺可以实现他的任何愿望。

贪财的迈达斯国王的愿望是，让自己碰到的东西都变成黄金，这样他就可以变得超级有钱。

但是，他很快就后悔了。因为他触摸了他的食物，他的食物变成了金子。他触摸他的女儿，他的女儿也变成了金子。

| 迈达斯国王的女儿变成了金子

这个故事不仅是贪婪的一个象征，还说明了一个强大的优化过程，在没有充分考虑重要因素的情况下，可能导致的灾难性后果。

有些人可能认为，如果计算机开始在人们的脸上插入电极，我们只需要关闭它。但实际上，如果我们变得严重依赖于这个系统，关闭它可能并不容易。

就像现在我们很难想象在没有互联网的情况下生活一样，请问关闭互联网的开关在哪里？

还有人说，我们可以尝试通过将AI放入一个类似于安全软件环境的“盒子”中，使它无法逃脱。

但我们有多大信心相信AI找不到漏洞呢？考虑到仅仅是人类黑客，都总是能够从我们的软件中发现漏洞，我们又怎么能相信超级智能做不到？

就像迈达斯国王的故事告诉我们的那样，贪婪和短视可能会导致无法挽回的后果。

所以，当我们谈论超级智能时，问题并不在于它是否会发生，而在于它何时会发生。关键在于我们如何确保AI与人类的价值观保持一致，从而确保人们的安全和福祉。

正因为如此，Elon Musk一再警告我们关于AI的危险性。

AI技术的崛起给我们带来了无数的可能性，我们应当把握这个时代的机遇，用它来解决全球面临的许多挑战，如气候变化、贫困、教育和医疗等问题。同时，也要警惕技术带来的风险。

正如希腊神话中迈达斯国王的故事告诉我们的，贪婪和盲目的追求，可能会导致我们付出惨重的代价。

////// end /////

这是我第212篇原创内容

请点赞、在看、转发为我加油。

关注我

我们互相陪伴，见证成长~

长按识别下方二维码，加入“勇士星球”社群，和我交流、提问，收获活出不设限人生的勇气、智慧和方法。

往期推荐

关键词：