“养成自己做项目的习惯。不要让‘工作’意味着别人告诉你要做的事情。如果你有一天真的能做出伟大的工作，那很可能就是你自己的项目。它可能在某个更大的项目中，但你会推动你的部分工作。”——保罗·格雷厄姆

对于有抱负的人工智能专业人士来说，成为一名LLM工程师是一条令人兴奋且充满希望的职业道路。

但你应该从哪里开始呢？你该如何学习呢？

成为 AI 工程师的路线图

首先要做的事！

它适合谁？

计划提升 AI 工程技能的程序员/SDE/分析师/数据科学家。

由于这是一项核心工程技能，因此需满足以下先决条件：

• 对 Python/JS 编程有中级水平的理解。
• 理想情况下，你必须具有编写至少 2-3 个中等复杂应用程序的经验，例如使用 Flask、Rails 或 Node.js 编写的博客 Web 应用程序。
• 你至少可以轻松地阅读构建文档。
• 您可以轻松地在 VS Code 等 IDE 中编写代码。
• 使用 git 和 GitHub 虽然很重要，但可以在从事项目的过程中学习。

分解路线图

我把整个 AI 工程轨迹分为 3 个阶段，如图所示，您可以在此路线图中从左到右，即从初学者到中级再到高级。

每个阶段代表的内容如下：

1. 初学者（<= 1 个月） ——构建基本应用程序以学习使用 LLM API，为您的应用程序精心设计提示并使用开源 LLM。
2. 中级（约 2 个月） — 深入使用检索增强生成 (RAG) 构建更多上下文感知的高级应用程序。了解矢量数据库及其使用方法。学习使用 LLM 和工具构建代理。
3. 高级（约 3 个月） — 掌握应用程序构建后，学习使用 LLMOps 在生产中部署、优化和管理基于 LLM 的应用程序。学习微调预训练模型，以高效且低成本的方式适应下游应用程序。

初级技能如下：

• 了解 LLM 的基础知识 — 你应该知道 ChatGPT 的高层工作原理。
• 学习面向开发人员的提示工程。如何编写提示来提高 LLM 的响应。
• 学习从 API 中获取数据，学习处理 JSON 数据。
• 学习调用封闭和开源 LLM 模型、函数调用、传递提示和解析响应。
• 学会从对话中管理上下文空间。
• 学习创建和自动执行一系列操作 — 使用 langchain 的链。
• 使用 Gradio 或 Streamlit 进行 POC 和演示的基本应用程序开发。
• 部署您的应用程序以使其可访问 – 在 HuggingFace Space 或 Streamlit 云上进行基本部署。
• 多模式生成——使用 HuggingFace 库的代码、图像、音频transformer。

中级项目需要：

• 了解向量嵌入和向量数据库。
• 学习如何在您的应用程序中使用矢量数据库。
• 构建检索增强生成 (RAG) — 与您的知识库聊天。
• 开发先进的 RAG 管道，如子问题查询引擎，可以在经过多个数据源后提供响应。
• 构建代理——迭代工作流程来完成一项大任务。
• 构建多代理应用程序，其中多个代理共同协作以提供更好的解决方案。
• 使用多个代理实现自动化 — Autogen 和 Crew AI
• 评估 RAG — RAGA 框架。
• 管理数据库、检索、部署完整的应用程序、版本控制、日志记录和监控模型行为。

高级项目需要您：

• 对预先训练好的 LLM 进行微调，以获得特定领域的知识和定制响应，例如医学研究、金融研究、法律分析。
• 整理数据集并设计（ETL 管道）管道以进行模型微调。
• 评估和基准测试模型性能
• LLMOps——通过模型注册、可观察性和自动化测试构建完整的 e2e 管道。
• 构建多模式应用程序——文本和图像的混合语义搜索
• 构建 SDK、软件包和定制解决方案，以帮助其他开发人员
• 使用即时黑客攻击等技术并通过检查漏洞和潜在风险来采取防御措施来保护您的 AI 应用程序。

随着花费足够的时间来构建应用程序和调整模型，您的技能应该如何进步：

最好的学习方法——构建！

正如 Andrej Karpathy 所说：

从事项目工作。

这是不仅学习而且真正理解这些概念的最佳方式。它将进一步磨练思考前沿用例的技能。

但这种学习理念的主要挑战是好的项目很难找到。

这正是我要解决的问题。帮助人们（包括我自己）发现和创建实用的现实世界项目，传授值得在作品集中展示的技能。

您的项目不能只是对泰坦尼克号数据集的又一次分析。

您的第一个项目应该是什么？

如果你是初学者，你的初始项目应该能够证明你可以轻松地使用 LLM 构建应用程序，即

• 你知道 API 是什么，
• 你知道如何食用它们，
• 如何打造人们真正想要使用的产品

构建聊天机器人是一个很好的起点，但目前每个人都已经开发了一个，有许多基于 Streamlit 的简单原型解决方案。因此，您需要开发一些真正可用且有潜力覆盖更广泛受众的东西。

这意味着什么？

这意味着为 WhatsApp、Discord 或 Telegram 构建一个聊天机器人。

这意味着构建一个聊天机器人来解决人们面临的问题，而公司已经开始为这个问题构建解决方案。

如果我必须选择一个好的、可以说是每个公司都开始研究的最常见的人工智能项目，那就是由 RAG 驱动的聊天机器人。

但是在构建由 RAG 驱动的机器人之前，您应该开始使用 LLM 构建一些更基础的东西。

以下是我要做的。

项目 1 — 在 WhatsApp 上总结 YouTube 视频

该聊天机器人允许用户通过 WhatsApp 发送 YouTube 视频 URL，它会返回视频内容的摘要版本。

• 接收 YouTube URL。
• 验证 URL 是否正确。
• 检索视频的记录
• 使用LLM来分析和总结视频内容。
• 将摘要发送回给用户。

项目＃2——构建一个可以处理不同类型用户查询的机器人。

该机器人充当航空公司的客户服务代表。它可以回答与航班状态、行李查询、机票预订等相关的问题。它使用 Langchain 的 Router 和 LLM 模型根据用户的输入动态生成响应。

• 针对不同的客户查询（例如航班状态、行李查询和投诉）定义了不同的提示模板。
• 根据查询，路由器选择适当的模板并生成响应。
• 然后，Twilio 将响应发送回 WhatsApp 聊天。

项目＃3 — RAG 驱动的支持机器人 — 公司想要这个！

该聊天机器人使用基于文档的系统回答与航空服务相关的问题。文档被转换成嵌入，然后使用 Langchain 的 RAG 系统进行查询以生成响应。

• 指南/规则文档使用 FAISS 和 HuggingFace 模型嵌入。
• 当用户提交问题时，RAG 系统会从文档中检索相关信息。
• 然后，系统使用预先训练的 LLM 生成响应并通过 Twilio 将其发回。

这 3 个项目将使您走上不断迭代的轨迹。

这就是我创建这个基于项目的课程来帮助您开始构建 LLM 的原因。

基于项目的课程，旨在构建 LLM 和 RAG 驱动的 WhatsApp 机器人

本课程提供了一个很好的起点，这对于获得新技能来说是最重要的。

这是一门初级课程，您将从学习使用 LLM 进行构建开始，然后运用这些技能构建 3 种不同类型的 LLM 应用程序。不仅如此，您还将学习如何将您的应用程序作为 WA 聊天机器人提供服务。

客户支持是人工智能领域获得资金最多的类别，因为如果人工智能能够处理与不满用户的沟通，就可以立即降低成本。

因此，我们构建了可以处理不同类型查询的机器人，智能 RAG 驱动的机器人将可以访问专有文档，为用户提供最新信息。

我们将使用免费开源工具，例如LangChain、Hugging face、together ai 的免费积分，当然还有 WhatsApp。