有一张图被用来描述 GPT5 比 GPT4 大多少，GPT3 被描绘成一条大白鲨，GPT4 被描绘成一条虎鲸，然后 GPT5 被描绘成一条座头鲸，这表明它们训练的数据量大幅增加。

这是一个有趣的类比，因为它传达了规模的概念，但当你思考这些类比代表什么时，它就更加有趣了。GPT3 是鱼类世界中的顶级捕食者，这种生物数百万年来都不需要进化，因为它在工作中表现出色，事实上它有一个真正的敌人：海豚家族的成员，尤其是虎鲸。与此同时，座头鲸以磷虾为食，有时也会成为虎鲸的牺牲品。

在技术领域，我们以前就见过这样的战斗，这场战斗始于 VMS 之类的系统，后来演变为 Windows NT，最后总算有一个架构胜出：Unix。Unix 的理念很简单，即创建解决特定问题的单独工具，并提供一种机制将它们串联在一起。

在应届毕业生面前，我表现得聪明的一个方法是打开 Mac 并运行一个命令行脚本，该脚本可以在几秒钟内完成他们原本计划编写大量代码甚至手动完成的任务。有人对我说“我可以用 Python 做到这一点”，这是真的，但 find、grep 和 awk/sed 的强大功能对大多数人来说就像魔术一样。正是这种强大功能让 Linux 在服务器端赢得了胜利，它是 MacOS 的基础功能，甚至如今的 Windows 也渴望拥有这种强大功能。

这也不是一场一次性的战斗。分布式系统、SOA、REST 等的兴起是对大型机时代无法维护的单片系统的反应，这些新方法将系统分解为可以独立开发和扩展的单个部分。Docker 和 Kubernetes 等技术建立在虚拟化的基础上，为部署提供了相同的理念。在数据方面，我们从天上神话般的巨型数据库（每个人都遵循单一模式）转变为分布式数据网格，业务的每个领域都可以对自己的数据有自己的看法，引入他们需要的内容并通过发布结果进行协作。

在处理器领域，我们看到以最高 GHz 运行的大型单核处理器的想法被多核多用途解决方案所取代，这些解决方案具有用于不同目的的不同内核。即使是软件包供应商（当今集中化的堡垒之一）也旨在解构其解决方案并实现更多联合部署和配置，尽管并不总是成功，但意图是存在的。

因此，在技术领域，单体和联合之间的斗争已经持续了很久，而获胜者几乎无一例外都是联合和专业化，即“做好一件事”然后合作以取得成果的理念。即使集中化和单体在某种程度上取得了胜利，它们也只在非常特定的领域获胜。

制作大量小模型或意向应用程序？

其中一个优点是，对于边缘设备和低功率设备，Unix 一直非常擅长适应外形尺寸。Raspberry PI 有多个下载选项，其中最小的是 500MB，这是有原因的，但与你自己调整相比，这太大了，你可以花很多功夫把它降到 10MB 以下。

我们会开始在基础模型中看到这一点吗？不仅通过Llama3.1之类的模型获得“小（但很大）”、“中等（但巨大）”和“绝对庞大（同意）” ，而且能够通过微调或其他技术创建更小、更专用的模型？我现在在构建解决方案时，我倾向于这样做，但没有小模型的好处，所以我实际上有一个更大的模型，我以 5 种不同的方式使用它，这仍然只利用了其一小部分功能，但在功率和性能方面都付出了巨大的代价

随着模型部署到手机等边缘设备，我们将看到这一挑战日益严峻，保护隐私、消除网络延迟，但肯定无法运行 4500 亿或 2 万亿参数的模型。

“意图” 是新“事物”吗？

苹果在Apple Intelligence中采用的“意图”新方法为我们提供了一个有趣的不同想法，即应用程序如何专注于任务但仍然利用模型的功能，以及不同的应用程序如何通过该界面相互利用。该模型明确专注于实现跨应用程序协作而不是单个应用程序协作，即使它可能全部由单个平台优化模型支持。因此，您可能拥有视频处理应用程序、社交媒体应用程序、生成图像应用程序和摄像头，并且能够使用编排命令或其他应用程序将它们组合在一起，因此即使您更改生成图像应用程序，解决方案仍然有效，因为意图保持不变。这还处于早期阶段，但它代表了一种构建协作式 AI 应用程序的新方法。