Gen AI 治理清单（Github 上的文档链接）：https://github.com/debmalyabiswas1/GenAIGovernance/blob/main/GenAI_Governance_Checklist.docx

介绍

全面的清单是实施有效的生成式人工智能 (Gen AI) 治理计划的第一步。

我们看到很多数据科学或数据保护影响评估 (DPIA) 清单被重新用于通用人工智能治理的案例。虽然相关，但大多数清单仅解决了难题的一部分 — 深入研究该特定方面。

新一代人工智能解决方案非常复杂。鉴于此，需要全面了解新一代人工智能解决方案所涉及的所有方面：
用例、架构、评估、隐私和风险，
以便正确管理企业中的新一代人工智能解决方案。例如，如果不了解底层解决方案架构：检索增强生成 (RAG) 或微调，就无法实施有效的风险管理。

对于 RAG，隐私风险仅限于作为提示“上下文”检索到的企业数据。微调会导致创建一个新的小型语言模型 (SLM)，其中包含嵌入的企业数据，下游应用程序可以将其进一步用作大型语言模型 (LLM)。因此，需要为这个新的 SLM 提供与预训练的 LLM 相同的隐私和风险关注。

这是创建全面的 Gen AI 治理清单的首次尝试。

该文件采用 Gen AI 解决方案卡的形式。它旨在提供底层 Gen AI 解决方案的必要细节，以便能够以可扩展且负责任的方式部署，并遵守适用法规。

鉴于此，它可作为企业的法律、隐私、审计、负责任的人工智能、道德人工智能等团队的初步治理清单，以了解 Gen AI 解决方案的设计、功能和约束。

我们想到的唯一限制是将其控制在 25 个问题以内 — — 以免让开发团队不知所措 — — :) 我们确实相信，这样的事情不应该孤立地进行（重复工作），并且会受益于社区参与 — — 因此根据 MIT 许可证（这是最宽松的许可证之一）将其上传到 Github。

因此，请随意使用它（包括商业用途）并提交您的建议/更新——期待就此进行健康的对话。

1. 应用描述

1.1 提供用例详细信息：

它解决了什么业务问题？它的功能。在决定使用 Gen AI 解决这个问题之前，还考虑过哪些其他技术？

1.2 涉及的业务部门

1.3 受影响的业务部门

1.4 描述 Gen AI 解决方案：

提供所用 LLM、SLM、解决方案架构（例如 RAG）的详细信息，并指明是否涉及微调。
*默认情况下，仅允许使用白名单中的 LLM 和 SLM。使用其他 LLM 和 SLM 需要额外审核。

企业大语言模型分类 (链接)；Gen AI 架构模式 (链接)

1.5 列出输入和输出数据类型

2. 评估策略

2.1 新一代人工智能解决方案评估细节
进行了哪些类型的测试？该解决方案在新一代人工智能解决方案指标方面表现如何，例如正确性、扎实性、上下文相关性等。

基于企业用例的大语言模型评估 (链接)

2.2 监控 Gen AI 解决方案
输入和输出是否记录？反馈和审查频率是多少？对不良行为做出反应需要多长时间？

2.3 入职最终用户
用户是否接受过有关 Gen AI 解决方案正确使用的培训？所有用户是否都可以随时获取文档？

2.4 解决基础设施和网络安全风险
提供云提供商、着陆区、安全部署架构的详细信息。描述为解决 LLM 特定安全风险（例如即时注入、越狱和对抗性攻击）而采取的措施。

云使用指南（链接）；信息安全政策（链接）

2.5 人为监督
描述 Gen AI 解决方案开发和部署生命周期中的人为干预点。

3. 负责任的人工智能

3.1 透明度
提供 Gen AI 解决方案如何通知最终用户响应由 Gen AI 生成的详细信息。
概述用户提供反馈的机制以及将其纳入 Gen AI 解决方案的底层流程。

通用人工智能设计原则 (链接)

3.2 偏见与歧视
描述为解决训练数据中的偏见（包括 RAG 和微调）而采取的措施，以及为确保非歧视性响应而采取的措施。

负责任的 LLMOps (链接)

3.3 风险级别
Gen AI 解决方案提供的响应是否会影响住房或住宿、教育、就业、信贷、医疗保健或刑事司法的获取或批准？
根据企业 AI 风险管理政策指定 Gen AI 解决方案的“风险级别”。
描述现有的流程和工具，以监控确定的 Gen AI 解决方案的风险级别是否会随时间而变化（例如，与用户、数据、隐私、成本相关的变化）。

欧盟人工智能法案具体规定
Gen AI 解决方案是否具有显著的通用性，可以部署为可集成到下游应用程序中的独立 AI 模型？（例如，预先训练的 LLM、微调的 SLM）。
根据欧盟人工智能法案指定 Gen AI 解决方案的“风险级别”。

企业人工智能风险管理政策（链接）；欧盟人工智能法案合规性检查器（链接）

3.4 毒性
列出与 Gen AI 解决方案生成的输入提示和响应有关的护栏细节——以解决与毒性、非法内容等相关的问题。

3.5 可解释性
提供 Gen AI 解决方案的高级业务流程逻辑。
是否可以向最终用户解释 Gen AI 解决方案的内部工作原理（包括底层 LLM 的工作原理）？——将特定响应链接到源数据/文档。
概述与局部和全局可解释性相关的任何 XAI 模型。

4. 隐私

4.1 数据敏感性
提供 Gen AI 解决方案处理的机密和敏感数据的详细信息。它是否处理个人数据？

4.2 数据处理
概述处理个人和敏感数据的法律基础。采取措施确保处理逻辑不会偏离原始目的（已获得同意），并在规定期限后删除。

4.3 访问控制
描述访问控制过程。确保仅在需要知道的情况下才可以访问训练和对话数据（日志）的措施。

4.4 隐私保护
详细说明现有的隐私保护机制，以应对 Gen AI 解决方案特有的风险，包括训练数据和对话数据（日志）。
概述确保 Gen AI 解决方案不会泄露私人或敏感数据的措施，尤其是当 Gen AI 解决方案受到对抗性攻击时。

生成式人工智能隐私风险（链接）

4.5 数据合规性
详细说明为遵守数据主体关于访问、反对、删除等请求而采取的措施。

5.供应商管理

5.1 第三方参与
指定任何第三方参与 Gen AI 解决方案的设计、开发、部署和支持的详细信息。

5.2 LLM 提供商
LLM 供应商是一种特殊类型的第三方供应商，在这种情况下提供底层预训练的 LLM。
确保我们选择退出将用于（重新）训练底层 LLM 的任何数据收集和模型训练功能。

5.3 数据所有权
提供与第三方（和 LLM）供应商协商的数据所有权的详细信息。
确保其中包括训练数据和对话日志，因为它们是随着时间的推移提高 Gen AI 性能的关键。

5.4 责任
提供与第三方供应商的责任协议的详细信息。重点关注版权侵权和知识产权 (IP) 合规性，包括开源许可证。

企业 AI/ML 的开源许可入门