在本文中，我们将提供用于构建可用于生产的端到端 GenAI 应用程序的主要架构构建块和蓝图。在实施和设计这些基于 llm 的应用程序时，我想指出几个关键注意事项。

主要考虑因素

在目标架构中选择 GenAI 组件的 AI 成熟度。

您需要确定您在 AI 成熟度谱中的位置，以及您应该处于什么位置，以便实现支持生成应用程序业务用例的架构。因此，您不一定需要每个应用程序的每一个架构组件；根据项目、业务线或组织的成熟度，您可以在这些架构构建块中进行选择。每个架构构建块或架构组件都可以通过我们在此处提供的模式构建。请记住，模式会生成架构，在本例中是微架构或架构构建块，这些构建块对于设计和构建基于 llm 的应用程序的特定部分是必不可少的。我将另外提供一个生成式 AI 成熟度模型，它将帮助您确定您在 llm 成熟度和复杂程度方面的当前位置和需要达到的位置，以便成功实施这些应用程序

在建筑构件中选择图案。

假设您决定需要快速工程、选择后端 LLM（例如 Google Gemini）并为您的模型提供服务，并且您需要检索增强，因此有效地达到 3 级成熟度（有关更多详细信息，请参阅我们的生成式 AI 成熟度模型。）重要的是要记住，即使您现在知道您的目标成熟度级别是构建具有 3 级检索增强生成能力的应用程序，也有很多方法可以实现您的架构的 RAG 组件。因此，我们将这个组件视为一种可以在不同复杂程度下设计和实现的模式。让我在这里给你一个更详细的分类。rag 可以实现为基本 RAG、中级 RAG 或高级 RAG 或自动化 RAG。因此，即使您知道该架构构建块的目标成熟度级别，您仍然需要决定实现该模式的细节。在本文中，我们将仅分解基本级别，在后续文章中，我将更详细地介绍每个架构构建块。

预测性人工智能、生成性人工智能和数据管道都是公平的游戏。

值得注意的是，生成式人工智能将包括传统的预测性人工智能以及数据提取、清理、网格、管道等模式，这些模式以传统的软件工程意义生成架构。随着生成式人工智能的出现和普及，重要的是要将领域理解为一组模式，这些模式由具有特定背景的问题解决方案对以及您需要做出的一组特定力量或权衡和考虑组成。在应用模式（即模式的解决方案部分）后，总会产生结果：并非问题空间中的每个力量都会通过应用该架构组件的模式来解决。因此，有些力量将无法解决，您仍然需要应用其他模式或技术来解决问题空间中的这些力量。在这里，我们提供了一个部分来介绍结果，并引用了可能有用的其他模式。我们在这里详细阐述了其中一些模式，其他一些模式很常见且非常直观，因此您可以在文献中查找参考资料以实现它们。

因此，在考虑了这些初步因素之后，让我们深入研究 Jedi 参考架构的每一个架构构建块，对它们进行总体探索，然后从模式的角度来看待它们。

GenAI 参考架构

生成式人工智能参考架构提供了一组架构构建块，为企业构建端到端大型语言模型应用程序提供了蓝图。当我们从概念验证阶段转向生产级系统时，了解构建块是什么以及如何实现它们是很重要的。对于每个构建块，我们都将该构建块作为一种设计模式或架构模式来提供，在其中我们探索问题的各个方面、背景、力量或权衡、解决方案、由此产生的结果以及可能相关的模式。

GenAI 参考架构：设计端到端生产级 GenAI 应用程序的模式

用户界面/用户体验

对话式 UI。对话式界面利用自然语言处理来实现类似人类的交互。Ram 等人在 2020 年发表的一篇论文 [1] 讨论了对话式 AI 的进步，重点介绍了迁移学习和强化学习等技术以改进对话系统。该论文强调了自然和情境感知交互对于增强用户体验的重要性。

[超]个性化。UI 个性化涉及根据个人用户的偏好和需求定制界面。Kocaballi 等人在 2019 年发表的一篇论文 [2] 探讨了个性化在基于 AI 的健康干预中的作用。作者讨论了个性化界面如何提高用户参与度和对 AI 驱动建议的遵守程度，从而带来更好的健康结果。

构建这些基于 LLM 的系统的一个细微差别是使用 LLM 根据过去的历史、当前用户、上下文、对响应的主动预期来生成超个性化的下一个最佳用户体验。

因此，您可以形象地认为，UX 或 UI 中的每个步骤都具有更多的情境感知能力，因此根据主动推荐的或可能采取的最佳操作，向用户呈现不同的信息。这引入了智能界面的概念，并通过基于情境超个性化的分步推荐，使用户体验更加丰富、更加智能、更加主动。

借助 Google 的 Vertex AI 平台，您实际上可以构建无需代码或低代码交互以及明显的全代码（基于 API）交互的用户体验。我们拥有自己的代理构建器平台，可以帮助您实现复杂的搜索、对话和应用程序，并使用您自己的专有数据（基于您自己的企业存储库和数据，无论是结构化数据还是非结构化数据）立即执行检索增强。这可以通过 Vertex AI Search 和 Vertex AI Conversation 来实现，以构建支持对话代理（例如客户代理、员工代理、数据代理等）的基于代理的应用程序。

问题/挑战

• 挑战在于创建直观且用户友好的界面，以实现无缝的人机交互。这涉及设计界面，使用户能够自然地与人工智能系统交互，从而有效地利用其功能。一个关键方面是开发一个对话代理，引导用户完成任务，增强他们的整体体验。例如，虚拟助手可以帮助用户浏览复杂的企业应用程序。

背景

• 用户通过各种渠道与 AI 互动，包括搜索引擎、聊天机器人和企业软件。随着 AI 逐渐融入日常工具，无缝体验至关重要。例如，用户可能会与 AI 驱动的搜索引擎互动，然后转向对话代理进行更复杂的查询，期望获得连贯一致的体验。

考虑/权衡

• 为 AI 设计 UI/UX 涉及平衡简单性和功能性。界面应易于使用，同时提供对强大 AI 功能的访问。权衡包括决定是使用功能有限的简单界面还是使用可能让用户不知所措的复杂界面。精心设计的界面可以实现平衡，使用户能够高效利用 AI 功能。

解决方案

• 我们建议开发统一功能的复杂用户界面。例如，一个界面允许用户搜索企业数据、与对话代理交互以获得指导，并为开发人员提供构建和测试 AI 解决方案的空间。这种统一的界面可以提高用户体验和生产力。
• 解决方案详细信息
• 该解决方案涉及集成高级搜索算法和自然语言处理。基于自然语言的搜索使用户能够使用对话查询查找信息。对话代理协助用户完成任务并通过对话提供指导。这些功能增强了用户体验并降低了复杂性。

产生的后果

• 改进的 UI/UX 设计可提高用户对 AI 解决方案的参与度和满意度。精心设计的界面可以促进更广泛的采用，提高生产力，并在组织内培养对 AI 技术的积极看法。

相关模式

• 对话式 UI：此模式侧重于通过对话代理创建自然且类似人类的交互。它涉及设计能够理解和响应用户查询的对话系统，模拟对话。[7]
• 个性化：根据个人用户量身定制 UI/UX 涉及根据用户的偏好、行为和需求定制界面。这创造了更直观、更吸引人的体验，提高了用户满意度。[8]

及时工程

模板：提示模板提供了一种结构化的方法来指导 AI 模型。刘等人在 2021 年发表的一篇论文 [3] 提出了一种基于提示的自然语言处理任务学习框架。作者展示了精心设计的提示模板如何显著提高模型在各种基准测试中的表现，凸显了有效提示工程的重要性。

问题/挑战

• 挑战在于通过提供精确的提示来引导 AI 模型生成所需的输出。提示工程涉及确保模型理解任务并生成预期响应的技术。这对于语言模型至关重要，因为提示会影响上下文和输出。

背景

• AI 模型（尤其是大型语言模型）依赖提示来理解和生成文本。提示的质量直接影响模型输出的准确性和相关性。精心设计的提示对于文本生成、问答和语言翻译等任务至关重要。

考虑/权衡

• 详细的提示为 AI 模型提供了明确的指导，从而提高了准确性。然而，过于具体的提示可能会限制灵活性和创造力。找到适当的平衡可确保模型能够适应各种情况，同时产生所需的输出。

解决方案

• 提示工程技术提供了一种系统化的方法。这包括提示设计，其中提示采用特定的语言和结构制作。模板创建为一致的提示提供了一个框架。测试涉及使用模型评估提示以确保最佳性能。

解决方案详细信息

提示工程涉及了解任务和期望输出。提示模板是使用提示数据增强等技术设计和优化的。测试涉及使用不同提示评估模型性能以确定最有效的方法。

快速工程最佳实践：扩展

1. 清晰明确

• 例如：不要说“告诉我有关气候变化的事”，试着说“解释气候变化的原因和影响，重点关注对全球气候模式和生态系统的影响”。这样会给出明确的方向。

2. 背景提供

• 示例：对于写作任务，提供有关所需语气（正式、非正式）、目标受众（专家、普通大众）和长度的详细信息。

3. 分步说明

• 示例：对于一个复杂的解决问题的任务，将其分解为如下步骤：“1. 确定问题，2. 分析潜在原因，3. 提出解决方案，4. 评估最佳解决方案。”

4. 小样本学习

• 示例：如果您希望模型总结文章，请在原始文章旁边提供一些写得很好的总结的示例。

5. 思维链提示法（CoT）[22]

• 例如：不要问“法国的首都是哪里？”而要问“哪个国家以埃菲尔铁塔而闻名？该国最著名的城市是哪里？那个城市的首都是哪里？”

6. 思维树（ToT）提示 [23]

• 示例：在产生创意时，提示模型探索不同的分支，如“想法 1：关注可持续性”、“想法 2：强调技术”等。

7. 思维提纲（OoT）和其他思维提纲提示 [26]

• 示例：提供文章的结构化大纲，具体包括引言、要点、支持证据和结论。

8.ReAct（理性-行为）框架[24]

• 示例：对于客户服务聊天机器人，“原因”步骤可能涉及分析客户的查询，而“行动”步骤则涉及生成有用的响应或行动。

9. DSPy 快速工程模板 [25]

DSPy 是一个用于编程基础模型的框架。它允许用户通过将程序流程与每个步骤的参数分开来构建复杂系统。这是通过模块和优化器实现的。模块是程序的构建块，指定输入和输出。优化器是可以调整程序提示和权重的算法。DSPy 可用于编译程序，这意味着它可以通过创建有效的提示和更新权重来提高程序的质量。

• 示例：为产品描述创建一个 DSPy 模板，其中包括产品名称、功能、优点和目标受众的占位符。

10.迭代测试和改进：

• 示例：测试提示后，分析模型的输出并调整提示措辞、结构或示例以改善结果。

考虑调整：

• 温度：调整模型设置中的“温度”参数来控制输出的随机性。较低的温度会产生更集中的反应，而较高的温度则会激发创造力。
• Top-k 采样：限制模型在生成的每一步从前k 个最可能的单词中进行选择，在创造力和连贯性之间取得平衡。
• 模型选择：选择适合任务的模型。有些模型擅长特定任务，例如代码生成或创意写作。
• 提示长度：试验提示长度。虽然详细的提示通常很有帮助，但过长的提示有时会让模型感到困惑。

产生的后果

• 及时设计可使 AI 系统输出更准确、更相关的信息。精心设计的提示可提高模型的理解能力，从而产生符合人类期望和特定应用要求的响应。

相关模式

• 模板：提示模板提供了一种结构化的方法，确保了一致性和有效性。模板指导提示的创建，从而提高了效率和性能。[7]
• 模型微调：快速工程与模型微调密切相关，两者都旨在优化模型性能。快速工程侧重于输入优化，而微调则调整模型参数。[8]

RAG（检索、增强、生成）

是的，这就是检索增强生成 (RAG)。它可以使用多种技术来应用，包括基本 RAG、中级 RAG、高级 RAG。在这篇文章中，我们将仅介绍基本 RAG。

RAG 的主要主题是数据丰富：RAG 利用数据丰富和增强来提高提示质量。Lewis 等人在 2021 年发表的一篇论文 [5] 提出了一种用于问答的检索增强生成方法。作者展示了如何从外部知识源检索相关段落可以显著提高生成的答案的准确性和信息量。

情境意识是 RAG 的一个主要目标。RAG 通过使用附加数据增强提示来提高模型的语境感知能力。Guu 等人在 2020 年发表的一篇论文 [6] 介绍了一种知识增强语言模型，该模型从知识库中检索并整合相关信息。作者展示了这种方法如何增强模型生成与语境相关且事实准确的响应的能力。

问题/挑战

• 通过提供附加背景信息来提高提示质量和相关性。初始提示可能缺乏足够的数据，导致输出不理想。RAG 通过检索和集成相关信息来增强提示，从而解决此问题。

背景

• AI 模型（尤其是语言模型）依赖提示来获取上下文。不完整的提示可能会导致不准确或不完整的响应。RAG 旨在通过检索和整合其他数据来提供更丰富的上下文。

考虑/权衡

• 用附加数据增强提示可以提高上下文和输出质量。然而，这会带来处理复杂性和潜在的延迟。上下文的丰富性和生成的效率之间存在权衡。

解决方案

• RAG（检索、增强、生成）检索并集成相关的附加数据以在生成之前增强提示。这确保模型能够访问更广泛的上下文，从而提高输出质量。
• 解决方案详细信息：
• RAG 将信息检索技术与语言生成相结合。从知识库、文本语料库或其他来源检索相关数据。然后使用这些数据来增强提示，为模型提供增强的上下文。

产生的后果

• RAG 以更丰富的语境和更高的准确性改进了 AI 输出。增强提示使模型能够生成更全面、更符合语境的响应。

相关模式

• 数据丰富：RAG 是数据丰富的一种形式，其中检索和集成其他数据以增强输入。这提高了模型的理解力和输出质量。[7]
• 情境感知：通过向提示添加附加数据，RAG 增强了模型的情境感知能力。这使模型能够生成考虑更广泛情境的响应。[8]

服务

API 管理：通过 API 提供 AI 模型可实现与应用程序的无缝集成。Zaharia 等人在 2019 年发表的一篇论文 [7] 讨论了大规模部署机器学习模型的挑战和最佳实践。作者强调了强大的 API 管理对于高效、可靠地提供 AI 功能的重要性。

服务网格。服务网格架构有助于微服务（包括 AI 服务）的部署和管理。Amershi 等人在 2020 年发表的一篇论文 [8] 探讨了服务网格在 MLOps 中的作用，强调了它们在可观察性、流量管理和 AI 部署安全性方面的优势。

问题/挑战

• 向最终用户或系统提供或部署人工智能模型的输出是人工智能开发过程中的关键步骤。

背景

• 一旦人工智能模型被训练出来，它的输出需要以可用的格式交付，以便为用户或其他系统提供价值。

考虑/权衡

• 提供 AI 输出的速度和可靠性与所需基础设施的成本和复杂性之间存在权衡。

解决方案

• 实现一个服务层，托管 AI 模型并通过 API 公开其功能，允许应用程序访问和集成 AI 功能。
• 解决方案详细信息：
• 选择批量或在线服务：
• 批量服务涉及向模型提供大量数据并将输出写入表，通常作为一项计划作业。
• 在线服务通过端点部署模型，使应用程序能够以低延迟发送请求并接收快速响应。
• 利用亚马逊、微软、谷歌和 IBM 等公司提供的工具和服务来简化部署过程。
• 考虑使用自动化工作流程创建的高级工具来构建机器学习模型服务。
• 最终结果：最终用户可以及时、可靠地以易于集成和利用的格式接收人工智能生成的内容或服务。

相关模式：API 管理、服务网格。

适应

模块化：模块化 AI 组件增强了适应性和可重用性。Li 等人在 2021 年发表的一篇论文 [9] 提出了一种模块化深度学习框架，该框架能够为各种任务组合可重用的模块。作者展示了模块化如何提高 AI 模型在不同领域的灵活性和可转移性。

系统集成：将 AI 解决方案与现有系统集成对于无缝采用至关重要。Paleyes 等人在 2020 年发表的一篇论文 [10] 讨论了将机器学习模型集成到生产系统中的挑战和策略。作者强调了标准化接口和强大的集成管道对于成功部署 AI 的重要性。

问题/挑战

• 人工智能解决方案需要适应不同的用例和环境，以满足不同的用户需求和期望。

背景：

• 随着人工智能的不断发展和普及，人工智能解决方案必须多功能且灵活，以处理各种功能并与现有系统无缝集成。

考虑/权衡：

• 开发能够适应不同用例的灵活 AI 解决方案与针对特定任务的专门优化之间存在权衡。

解决方案

• 通过开发允许与不同系统集成的模块化组件和连接器来扩展和提炼 AI 解决方案。
• 持续评估AI解决方案在各种环境和用例中的性能。

解决方案详细信息：

• 采用自适应人工智能解决方案，可以从新数据中学习并随着时间的推移不断改进，从而无需在更新时进行密集编程和手动编码。
• 利用持续学习范式使人工智能系统变得更加高效、可扩展和可持续。
• 利用数据科学人员帮助从数据集中解析见解并提供后续预测、建议和预计结果。

产生的后果

• 强大且适应性强的人工智能解决方案能够满足广泛的企业环境和用户需求，提高客户满意度和灵活性。

相关模式

• 模块化、系统集成。

准备并调整数据和模型

准备和调整数据和模型是开发有效 AI 解决方案的关键方面。高效的数据管道在此过程中发挥着至关重要的作用，因为它们支持必要的数据清理、集成和特征工程任务。Polyzotis 等人在 2019 年发表的一篇论文 [11] 全面调查了机器学习中的数据管理挑战，强调了精心设计的数据管道在 AI 工作流中的重要性。除了数据准备之外，超参数优化是提高模型性能的另一个重要步骤。

Li 等人 [12] 在 2020 年的一篇论文中介绍了一种基于贝叶斯优化的高效超参数优化框架，展示了自动调整如何显著提高模型准确率，同时减少人工工作量。此外，针对特定任务或领域对预训练模型进行微调已被证明是提高模型性能的有效方法。

Howard 和 Ruder [4] 在 2020 年的一篇论文中介绍了微调语言模型的技术，展示了判别性微调和倾斜三角学习率如何大幅提高下游任务的性能，同时最大限度地降低计算成本。通过专注于数据和模型准备的这些关键方面，AI 从业者可以为广泛的应用开发更准确、更高效、更量身定制的解决方案。

以下是子模式。

数据管道：高效的数据管道对于为 AI 模型准备数据至关重要。Polyzotis 等人在 2019 年发表的一篇论文 [11] 概述了机器学习中的数据管理挑战。作者讨论了数据清理、集成和特征工程的各种技术，强调了数据管道在 AI 工作流中的关键作用。

超参数优化：调整超参数对于优化模型性能至关重要。Li 等人在 2020 年发表的一篇论文 [12] 介绍了一种基于贝叶斯优化的高效超参数优化框架。作者展示了自动超参数调整如何显著提高模型准确性并减少人工工作量。

模型微调：微调涉及将预训练模型调整到特定任务或领域。Howard 和 Ruder [4] 在 2020 年发表的一篇论文介绍了微调语言模型的技术，例如判别微调和倾斜三角学习率。作者展示了微调如何大幅提高下游任务的模型性能，同时降低计算成本。

合成数据生成：合成数据生成涉及创建模拟真实世界数据特征和统计属性的人工数据。此过程依赖于捕捉真实数据中存在的底层模式、分布和关系的算法和模型。通过生成合成数据，研究人员和开发人员可以扩充现有数据集、填补数据空白并创建新的训练场景，而这些场景原本是无法仅使用真实数据实现的。

合成数据生成在微调 LLM 中的重要性

数据增强：现实世界的数据集经常遭受类别不平衡或某些场景代表性有限的困扰。合成数据生成可用于通过创建平衡类别分布并覆盖代表性不足的案例的新示例来增强训练数据集。这可以产生更强大、更通用的 LLM，这些 LLM 在不同任务和场景中表现良好。

数据隐私和安全：在许多应用中，现实世界的数据可能包含敏感信息或个人身份信息 (PII)。合成数据生成允许研究人员创建保留真实数据基本统计属性的数据集，同时确保隐私和安全。通过在合成数据上训练 LLM，泄露敏感信息的风险显著降低。

探索罕见或危险场景：现实世界数据可能缺乏罕见或危险事件的示例，因此训练 LLM 有效处理此类情况具有挑战性。合成数据生成可以创建在现实生活中难以或不可能收集的场景，例如极端天气事件、事故或网络攻击。通过在训练期间让 LLM 接触这些合成场景，可以增强他们理解和应对此类事件的能力。

成本和时间效率：收集和注释大量现实世界数据可能是一个耗时且昂贵的过程。合成数据生成通过自动化数据创建过程提供了一种经济高效且高效的替代方案。这使研究人员和开发人员能够快速迭代和试验不同的训练场景，从而加快模型开发和改进速度。

定制和控制：合成数据生成提供了对数据特征的高度定制和控制。研究人员可以微调数据生成模型的参数，以创建满足特定要求的数据集，例如控制生成示例的多样性、复杂性或难度。这使得可以针对特定应用或领域对 LLM 进行有针对性的微调。

伦理考量

虽然合成数据生成具有显著的优势，但必须考虑其使用所带来的道德影响。合成数据应以负责任和透明的方式使用，确保不会延续真实数据中存在的偏见或虚假陈述。此外，验证合成数据的质量和代表性也至关重要，以确保其符合其旨在模拟的真实世界数据的特征。

问题/挑战

• 准备和调整数据和模型对于实现最佳性能和与特定用例的相关性至关重要。

背景

• 原始数据通常需要清理和准备，以确保其完整性、一致性、及时性和相关性。模型需要针对特定​​行业领域和用例进行微调。

考虑/权衡

• 数据准备和模型调优的质量直接影响AI解决方案的性能和准确性。数据准备不充分会导致AI模型做出错误的决策和结论。

解决方案

• 通过确保正确的格式、清理和结构化来准备用于机器学习调整的数据。
• 通过微调针对特定行业领域和用例定制AI模型。
• 解决方案详细信息：
• 利用数据准备工具（例如 OpenAI 的 CLI 数据准备工具）来验证、建议并将数据重新格式化为微调所需的格式。
• 确保数据集涵盖各种主题、风格和格式，以使模型能够在不同场景中生成连贯且与上下文相关的输出。
• 提供足够数量的高质量训练示例（最好由人类专家审查），以提高微调模型的性能。
• 增加示例数量以获得更好的性能，因为更大的数据集通常会导致模型质量线性增加。

产生的后果

• 定制的 AI 解决方案可针对特定行业领域和用例实现最佳性能，满足组织的独特需求和要求。

相关模式

• 数据管道，超参数优化。

地面

反馈循环：反馈循环能够根据用户交互不断改进 AI 模型。Breck 等人在 2021 年发表的一篇论文 [13] 讨论了反馈循环在负责任的 AI 开发中的重要性。作者强调了如何结合用户反馈来帮助识别和减轻 AI 系统中的偏见、错误和意外后果。

持续监控：监控生产中的 AI 模型对于保持性能和检测异常至关重要。Klaise 等人在 2020 年发表的一篇论文 [14] 提出了一个持续监控机器学习模型的框架。作者讨论了实时检测概念漂移、性能下降和数据质量问题的技术。

问题/挑战

• 确保人工智能输出的准确性、相关性和道德合理性对于其有效利用至关重要。

背景

随着人工智能系统越来越多地部署在关键领域，其输出的相关性和准确性直接影响其实用性和社会影响。

考虑/权衡

• 实现高度精确的人工智能输出与确保其知识和能力的广度之间存在权衡。

解决方案

• 实施评估和验证机制，以评估人工智能输出的质量、性能和偏见，并将其置于额外的数据和验证的基础上。
• 解决方案详细信息
• 利用自动监控系统检测人工智能模型中的偏差、漂移、性能问题和异常，确保它们正确且合乎道德地运行。
• 建立性能警报，以便在模型偏离其预定义的性能参数时及时干预。
• 实施反馈循环来解决用户的挫败感并保持他们的参与度，引导他们追求准确性并防止他们陷入困境。

产生的后果

• 高质量、公正的人工智能输出，相关、准确、可信，提高用户满意度和依赖性。

相关模式

• 反馈回路，持续监控。

多智能体系统

多智能体系统 (MAS) 已成为设计和实现复杂 AI 系统的强大范例。在 MAS 中，多个智能体交互并协作解决超出单个智能体能力的问题。Dorri 等人于 2021 年发表的一篇论文 [19] 对 AI 中的多智能体系统进行了全面概述，讨论了它们的应用、挑战和未来方向。作者强调了协调、沟通和决策在 MAS 中的重要性，强调了它们解决大规模分布式问题的潜力。

MAS 面临的一个关键挑战是确保智能体之间的有效合作。Xie 等人在 2020 年发表的一篇论文 [20] 提出了一种新型的合作式多智能体强化学习框架，使智能体能够根据其他智能体的行为学习并调整自己的策略。作者展示了这种方法如何在复杂、动态的环境中提高性能和鲁棒性。

MAS 的另一个重要方面是处理不确定性和不完整信息的能力。Amato 等人在 2019 年发表的一篇论文 [21] 讨论了多智能体系统中不确定性条件下分散决策的挑战和机遇。作者提出了各种技术，例如部分可观察的马尔可夫决策过程和博弈论方法，用于建模和解决 MAS 中的决策问题。

多智能体系统已应用于机器人、自动驾驶汽车和智能电网等各个领域。通过利用多个智能体协同工作的能力，MAS 可以开发更具弹性、适应性更强、可扩展性更强的 AI 解决方案。随着 AI 系统的复杂性不断增加，多智能体系统可能会在塑造人工智能的未来方面发挥越来越重要的作用。

在 Google Cloud，我们最近（2024 年 4 月）宣布了Agent-builder并支持基于代理的设计和开发。

背景

多智能体系统已成为设计和实现复杂 AI 系统的强大范例。在 MAS 中，多个智能体相互交互和协作，以解决超出单个智能体能力的问题。

大型语言模型 (LLM) 在自然语言理解和生成方面表现出了卓越的能力。然而，随着任务的复杂性和对专业知识的需求增加，利用 LLM 中的多智能体系统可以带来更高效、更有效的解决方案。

问题/挑战

设计有效的多智能体系统需要解决智能体之间的协调、沟通和决策等挑战。确保合作以及处理不确定性和不完整信息对于 MAS 的成功至关重要。

将多智能体系统集成到 LLM 中面临着诸多挑战，例如协调多种专门语言模型、实现智能体之间的有效沟通和知识共享、以及确保生成的输出的一致性。

考虑/权衡

多智能体系统的复杂性和解决大规模分布式问题的能力之间存在着权衡。平衡各个智能体的自主性与协调和协作的需求对于实现最佳性能至关重要。

在 LLM 中实现多代理系统需要在专业知识的优势与代理之间的协调和通信开销之间取得平衡。取得适当的平衡对于优化性能和保持生成语言的流畅性和连贯性至关重要。

解决方案

开发多智能体系统，利用多个智能体协同工作的能力来解决复杂问题。实现智能体之间有效协调、沟通和决策的技术。

在本博客中，我们将仅介绍基础知识，并将在后续博客中提供有关多智能体系统的模式语言的详细信息。敬请关注。

为 LLM 开发多代理架构，使多个专业语言模型能够协作并共享知识。实施代理之间有效沟通、协调和决策的技术，以实现无缝集成和最佳性能。

解决方案详细信息

• 利用合作式多智能体强化学习框架，如谢等人 [20] 提出的框架，使智能体能够根据其他智能体的动作进行学习并调整自己的策略。
• 应用部分可观测马尔可夫决策过程和博弈论方法等技术（Amato 等人 [21] 讨论）来建模和解决不确定性和不完全信息下的 MAS 决策问题。
• 利用 MAS 在机器人、自动驾驶汽车和智能电网等各个领域的潜力，开发更具弹性、适应性更强、可扩展的 AI 解决方案。

法学硕士类代理

• 利用分层多代理框架，其中高级代理协调低级专门代理的行为，确保生成的输出的一致性和连贯性。
• 实施通信协议，允许代理共享相关信息，例如上下文、意图和生成的输出，从而实现有效的协作和知识共享。
• 采用联邦学习和迁移学习等技术，使代理能够相互学习并有效地适应新任务和领域。

产生的后果

多智能体系统可以开发比单个智能体更有效地解决复杂分布式问题的 AI 解决方案。通过促进智能体之间的协调、沟通和决策，MAS 可以提高动态环境中的性能、稳健性和适应性。

LLM 中的多智能体系统能够生成更连贯、更符合语境、更专业的语言输出。通过利用多个专业智能体的专业知识，LLM 可以更有效、更高效地处理复杂任务，从而提高性能和用户体验。

相关模式

• 分散控制：MAS 通常采用分散控制架构，允许代理自主做出决策，同时与其他代理协调以实现共同目标。
• 群体智能：MAS 可以表现出群体智能，其中代理之间的简单交互会导致系统级复杂智能行为的出现。
• 模块化架构：LLM 中的多代理系统可以使用模块化架构来实现，其中每个代理都是一个具有特定功能的独立模块，可以轻松扩展和适应新任务。
• 协作学习：多智能体 LLM 中的智能体可以进行协作学习，在协作学习中，他们共享知识并相互学习，以提高个人和集体的表现。

大型语言模型中多智能体系统的集成为生成高质量、专业化的语言输出开辟了新的可能性。通过实现多个专业化智能体之间的有效协调、沟通和知识共享，LLM 可以更高效、更有效地处理复杂任务，为更先进、更智能的语言应用铺平道路。

治理

道德 AI：管理 AI 系统涉及确保遵守道德原则和法规。Floridi 等人在 2021 年发表的一篇论文 [15] 提出了道德 AI 治理的框架。作者讨论了透明度、问责制和公平性在 AI 开发和部署中的重要性，强调了治理在促进负责任的 AI 实践中的作用。

合规管理：合规管理可确保 AI 系统遵守法律和监管要求。Bughin 等人在 2020 年发表的一篇论文 [16] 探讨了 AI 的监管格局，并讨论了管理合规风险的策略。作者强调，需要主动合规管理来应对围绕 AI 不断发展的法律和道德框架。

问题/挑战

• 随着人工智能系统变得越来越强大和普及，负责任且合乎道德地管理它们对于防止潜在危害至关重要。

背景

• 人工智能系统会对社会产生重大影响，影响个人的权利、隐私和尊严。治理确保人工智能系统在道德和法律界限内运行。

考虑/权衡

• 强大的人工智能治理可能会增加开发和部署过程的复杂性，但对于维护用户信任和遵守法规至关重要。

解决方案

• 实施负责任的人工智能治理层，包括公正的安全检查、背诵检查和监督机制。
• 解决方案详细信息
• 建立涉及技术、法律、道德和商业等利益相关者的多学科治理政策和框架，指导人工智能发展并应对风险。
• 确保人工智能系统尊重和维护隐私权、数据保护和安全，以保护个人的个人信息。
• 实施持续监测和评估人工智能系统的机制，确保遵守道德规范和法律法规。
• 利用具有实时更新和直观健康评分指标的可视化仪表板，轻松监控 AI 系统的状态和性能。

产生的后果

• 在道德和法律界限内运行的人工智能系统，尊重个人权利和隐私，维护用户信任，从而促进社会接受和采用。

相关模式

• 道德人工智能、合规管理。

MLOps

持续部署：MLOps 支持 AI 模型的持续部署，从而实现快速更新和改进。Alla 和 Adari 在 2020 年发表的一篇论文 [17] 讨论了 MLOps 的原理和实践，强调了持续集成和部署 (CI/CD) 流程对于高效模型更新和推出的重要性。

实时监控：实时监控对于确保生产中 AI 模型的性能和可靠性至关重要。Sambasivan 等人在 2021 年发表的一篇论文 [18] 介绍了一项关于监控机器学习系统的挑战和最佳实践的研究。作者讨论了实时监控对于检测和缓解问题、确保 AI 模型平稳运行的重要性。

问题/挑战

• 机器学习模型的操作化涉及将其从开发过渡到生产，需要仔细的规划和执行。

背景

• MLOps，即机器学习操作，旨在简化将机器学习模型投入生产并有效维护它们的过程。

考虑/权衡

• 人工智能模型在生产中的性能与其部署和更新的速度之间存在权衡。

解决方案

• 协调持续集成和部署 (CI/CD) 管道，以集成和监控数据、预测和生成 AI 组件。
• 解决方案详细信息
• 采用 MLOps 方法来加强数据科学家、工程师和 IT 专业人员之间的协作，从而加速模型开发和生产。
• 利用自动化测试和验证实践来提高机器学习工件的质量并在机器学习项目中实现敏捷原则。
• 将 MLOps 应用于整个 ML 生命周期，从模型生成和编排到健康、诊断、治理和业务指标。

产生的后果

• 人工智能模型在生产环境中平稳运行，停机时间最少，确保可靠高效的性能。

相关模式

• 持续部署，实时监控。