过去几个月,围绕人工智能的炒作如火如荼。
据称,特斯拉将在一两年内实现完全自动驾驶,人工智能明年将比人类更聪明,到 2040 年,十亿台人工智能机器人将取代人类工人,而这些只是埃隆·马斯克今年迄今为止做出的人工智能承诺。整个人工智能行业充斥着这样的预测和承诺,感觉人工智能的发展正处于不可阻挡的指数轨迹上,我们人类根本无法阻止。然而,事实并非如此。你看,人工智能正开始达到收益递减的发展天花板,使得这些夸张的承诺完全空洞。让我来解释一下。
要理解这个问题,我们需要了解人工智能的基本工作原理。现代人工智能使用深度学习算法和人工神经网络来发现数据中的趋势。然后,它们可以从这些数据中推断或沿着同一趋势线生成新数据。
这首先要“训练”人工智能,将大量数据输入其中进行分析,使其能够发现这些趋势。此后,可以查询人工智能以获得输出。这个基本概念为计算机视觉、自动驾驶汽车、聊天机器人和生成式人工智能提供了动力。这是一个有点简化的解释,但这是我们现在需要了解的全部内容。
过去几年,人工智能的能力显著增强。这部分归功于更好的编程和算法开发。但也有 90% 归功于人工智能在更大的数据集上进行训练。这使它们能够更准确地了解数据趋势,从而更准确地生成结果。但有一个问题;我们看到人工智能训练的回报急剧下降,无论是在数据方面还是在所需的计算能力方面。
让我们从数据开始。假设我们构建了一个简单的计算机视觉人工智能,用于识别狗和猫,我们使用 100 只狗和猫的图像和视频对其进行训练,它能够正确识别 60% 的狗和猫。如果我们将训练图像和视频的数量增加一倍,达到 200,它的识别率会有所提高,但只会略微提高到 65% 左右。如果我们将训练图像和视频的数量再次增加一倍,达到 400,它的改进将更加微不足道,达到 67.5% 左右。
部分原因是,当你拥有较小的数据集时,与向较大的数据集添加新的训练图像相比,每张新的训练图像都会提供更多新数据。然而,这也是因为人工智能可以在小型数据集中快速建立新的联系和趋势,因为它只需找到适用于几个示例的趋势。但随着数据集的增长,找到适用于整个数据集的新趋势和联系变得越来越难。来自较大数据集的新趋势和联系使人工智能变得更好、更有能力。因此,随着人工智能训练的收益递减点,我们看到,将人工智能改进一定程度所需的训练数据量急剧增加。
但还有一个问题。人工智能训练对计算资源的需求极大。人工智能必须将每个单独的数据点与集合中的每个其他数据点进行比较,才能找到这些联系和趋势。这意味着,对于你添加到人工智能训练数据库的每一位数据,在该数据库上训练人工智能所需的计算工作量都会呈指数级增长。因此,即使你可以获得训练这些不断改进的人工智能所需的大量数据,它所需的物理计算能力和能量最终也会增长到不可能的程度。
可悲的是,有证据表明,我们正处于这样一个阶段:训练数据集增长的收益递减和使用上述数据集所需的计算能力的指数级增长正在对人工智能发展施加严格的上限。
以 OpenAI 的旗舰 AI ChatGPT4 为例,它对 ChatGPT3 的改进小于 ChatGPT3 对 ChatGPT2 的改进,尽管它更准确,但它仍然存在与 ChatGPT3 相同的幻听和理解不足的问题。现在,OpenAI 对其 AI 的开发方式守口如瓶,但专家调查发现,ChatGPT3 使用的训练数据集比 ChatGPT2 大 78 倍,ChatGPT4 使用的数据集比 ChatGPT3 大 571 倍!然而,尽管训练数据集的大小有显著提升,ChatGPT4 仍然存在重大缺陷,大大限制了它的使用场景。例如,它不能被信任写出任何基于事实的东西,因为它仍然在编造事实。
有人估计 ChatGPT4 的原始训练数据集有 45 TB 的纯文本。这意味着,如果要使下一次迭代像 ChatGPT4 相比 ChatGPT3 那样取得巨大进步,训练数据集将需要数万 TB。即使使用 OpenAI 的可疑方法,获取和准备如此大量的纯文本数据也是不切实际的。然而,实际上使用这个数据集来训练他们的人工智能可能会消耗大量的能源,以至于这种成本使得人工智能完全不可行,即使是对于非营利组织来说也是如此。
这并不是夸张。OpenAI 首席执行官 Sam Altman 曾公开表示,要实现高级 AI,需要实现核聚变等能源突破。遗憾的是,即使我们确实实现了核聚变,它也不太可能比我们本世纪甚至下个世纪的现有能源更便宜。事实上,没有任何一种能源会比我们目前拥有的任何能源便宜得多。因此,这种针对 AI 能源问题的解决方案具有极大的误导性。
一些非常严肃的研究支持这一观点。马萨诸塞大学阿默斯特分校的一项研究调查了将图像识别 AI 性能提高到 95% 以上准确率所需的计算和能源成本。他们发现,训练这样一个模型将花费 1000 亿美元,产生的碳排放量相当于纽约市一个月的碳排放量。请记住,这是针对仍然有 5% 的时间会犯灾难性错误的 AI 而言的。该研究还强调,将准确率提高到 99% 将需要成倍增加的成本和碳排放量。
这就是为什么特斯拉永远不会以目前的方法开发出完全自动驾驶汽车。他们的自动驾驶仪和 FSD 只能通过这种类型的 AI 计算机视觉来感知周围的世界,而 FSD 要实现完全自动驾驶,其图像识别准确度需要接近 100%。正如这项研究表明的那样,要让他们的 AI 达到如此好的水平,可能要比特斯拉花费更多的钱。
换句话说,除非人工智能行业能够找到一种更高效的人工智能训练和计算负荷的方法,否则它将无法突破这一限制,人工智能发展将完全停滞不前。现在,可能的解决方案已经出现,例如结合模拟和量子技术的更高效的人工智能硬件,以及需要明显更小训练数据集的新人工智能架构。然而,这些概念仍处于起步阶段,距离在现实世界中使用可能还需要几十年的时间。
简而言之,要做好准备,因为未来几年人工智能可能会大大低于预期。
RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/4953