仅初创企业的收入就超过 10 亿美元，随着 Gen AI 的早期成功迹象，每家有远见的科技公司都在竞相将 Gen AI 功能融入其产品、客户支持机器人和营销中。作为一种技术，AI 正处于与 90 年代末互联网相似的阶段，甚至完全相同。

人工智能的需求和建设者不断增长

为了发现这一趋势，我查看了YCombinator 的公司组合。对于那些不知道的人来说，YCombinator 是一家总部位于美国的著名创业加速器。他们支持的许多初创公司现在已成为科技巨头，例如 Airbnb、Dropbox、Stripe 和 Reddit。

这是我得到的结果，看看 2017 年至 2023 年使用 AI 构建的公司数量。自 2021 年以来，使用 AI 构建的公司数量显着增加，然后在 2022 年 ChatGPT 推出后激增。

这让人们有信心在不久的将来会有越来越多的公司采用人工智能，从而导致对人工智能工程师的需求增加。

而且，对于任何程序员来说，这是开始构建和学习的最佳时机。

为什么现在？！

人工智能开发领域已经发展到足以通过开源 LLM、框架和现成的 API 快速起步，并且社区也已经发展到足以获得所需的支持。

人工智能初创企业、人工智能加速器计划、开源存储库、SDK、软件包、云平台——一个共同的主题——尽快构建、解决和交付。

曾经需要专门的研究团队和多年的密集工作才能完成的工作，现在只需 API 文档和几天的专注努力就能有效地完成。

那么，建筑师（喜欢建造产品的人）或工程师今天可以如何深入研究人工智能领域呢？

要回答这个问题，你首先应该了解该领域发生的一切。

人工智能开发层

我将当今人工智能发展的主要领域分为三个不同的层次。

AI 开发图层画布

1. 应用程序开发— 此层包括使用一些 AI 工程框架（如 Langchain、LlamaIndex、Autogen 等）在现成的 LLM API 之上开发应用程序（接口），然后监控和评估您的应用程序。
   这是最活跃和最热闹的一层。这就是赚钱的地方。用例越真实，价值就越大。要开发这些 AI 应用程序，您需要掌握一套特殊的工程技能，我将在本文后面解释。
2. 模型开发— 更深入一层，我们致力于提供更优化模型的一切工作。使用各种工具设计数据集、分布式训练、评估和基准测试以及推理服务。
   这一层需要深度学习、分布式系统、数据集管理和工程方面的深厚专业知识。
3. 基础设施— 支撑一切的是基础设施层，包括硬件、云服务提供商和 GPU，这些大型模型就是在这些层上进行训练的。
   这一层需要计算（操作系统、网络、安全）、分布式系统以及 AI 模型开发方面的深厚专业知识。

除此之外，还有另一层研究，即人工智能风险和安全协调，以防止流氓人工智能。这是 OpenAI 今年早些时候推出的一项 1000 万美元的超级协调资助计划。

由于应用层最受关注，因此对一类懂得如何在 AI 基础上进行构建的特殊工程师的需求日益增加。虽然这些工程师没有标准术语，但大多数公司都称他们为 AI 工程师。

那么，我们如何定义 AI 工程师的角色？他们需要是 AI 或深度学习方面的专家吗？

人工智能工程师是一位专业的程序员，擅长利用人工智能技术开发全面的与形式无关的应用程序。

“表单不可知”指的是应用程序类型的多样性，从简单的聊天界面到复杂的全栈应用程序、Chrome 扩展程序、Python 包或 SDK。

与深入研究算法基础的人工智能研究人员不同，人工智能工程师专注于应用现有的人工智能模型来创造以用户为中心的产品。

但问题又出现了，难道我不需要成为人工智能专家才能成为人工智能工程师吗？

最简洁的答案是不。

这个角色不需要对人工智能原理有详尽的专业知识，例如了解 Transformer 模型的内部工作原理，就像学习游泳不需要深入研究浮力物理学一样。

虽然对深度学习和机器学习的深厚了解可以带来优势，但当前的行业需求更倾向于实际应用而非理论研究。

那么，我们如何区分人工智能工程师和人工智能研究员呢？

AI 工程师 vs AI 研究员

下图绘制了使用 API 等工程技能与设计模型架构或了解变压器的工作原理等 AI 研究技能之间的对应关系。

人工智能工程师擅长创建人工智能应用程序，专注于最大化模型功能并优化大型语言模型 (LLM) 的工作流程。

AI 工程师 vs AI 研究员——

通过此图表，我还认为与 ML 原生配置文件相比，更工程，原生的配置文件将在这个角色中发挥更大的作用。

你一定想知道，如果人工智能研究人员擅长工程并且在人工智能方面拥有深厚的专业知识，那么为什么公司不雇用他们而不是人工智能工程师呢？

简短的回答是稀缺性，这反过来会导致成本增加。

下一个重大技术角色——人工智能工程师？

以下是关于这个生态系统如何通过“模型即服务”快速发展的一些有趣见解：

1. 需求和供应动态：所有顶尖的法学硕士研究人员都已被谷歌、OpenAI、微软和 Meta 等巨头选中，法学硕士研究人员的稀缺表明对人工智能工程师的需求迫切。这类专业人员是尖端研究与实际应用之间的桥梁，确保人工智能技术得到更广泛的应用和实施。
2. 快速原型设计和敏捷性：与传统的机器学习方法不同，传统的机器学习方法需要大量研究来确定我们是否需要使用机器学习来解决问题，而人工智能工程师可以使用现成的模型 API 快速对人工智能产品进行原型设计和迭代。
3. 创新变得更容易、更快捷：基础模型以最少的输入在各种任务中表现出显著的适应性，这对于利用这些功能来创建超出研究人员最初设想范围的创新解决方案的人工智能工程师来说非常宝贵。
4. 推理优化以应对计算限制：对 GPU 的不断增长的需求和专用计算集群的形成凸显了在这些限制内优化模型性能和创新的 AI 工程师的重要性。

虽然推荐系统、欺诈检测和异常检测等传统机器学习问题将继续改进，但我们还有一系列全新的人工智能应用需要满足。

HuggingFace 联合创始人Clem Delangue表示：

人工智能是构建所有技术的新范式

因此，我们需要越来越多的人工智能工程师！

看看红杉资本绘制的这份生成式人工智能市场地图。应用层几乎涵盖了所有领域的用例和公司：

结论

综上所述，我们有：

1. 来自行业领袖和人工智能领域的资深专家的呼吁，例如 Andrej Karpathy、Chip Huyen 和 Clem 等。
2. YCombinator 等大型孵化器、风险投资公司和投资者一直在投资人工智能公司，他们在人工智能领域长期耕耘，证明这是构建所有技术的下一个大范式。
3. 人工智能研究与工程之间的差距需要缩小，而人工智能工程师将推动这一进程。
4. 人工智能应用生态系统发展迅速 — 每周都会推出全新和改进的开发者工具、随时可用的 API、库和云平台。除此之外，我们还有一个不断发展壮大的社区来提供所需的支持。

因此，现在是时候开始利用人工智能、培养这些技能并为下一个重大技术角色做好准备了。