AI工具审批流程：应用程序、连接和智能体操作
设置 AI 工具审批流程，该流程对于低风险工具来说速度很快，并仔细考虑智能体可以到达的公司系统及其可以采取的操作。
决策摘要
人工智能工具审批流程决定人们可以使用哪些人工智能工具、使用哪些数据以及在什么条件下使用。对于连接到公司系统的工具，它还决定它们可以访问哪些系统以及哪些操作需要人员审查。使请求变得简单，将审核与风险相匹配，批准具有所有者和审核日期的特定范围，通过配置而不是电子表格强制执行决策，并在工具更改时重新审核。
AI工具审批流程决定什么
AI 工具审批流程是指组织如何决定人们可以在工作中使用哪些 AI 工具、使用哪些数据以及在什么条件下使用。大多数流程都是从应用程序本身开始：聊天助手、会议记录员或编码助手。
智能体添加两个决策。现在，许多人工智能工具通过内置连接器或模型上下文协议（MCP）连接到公司系统，有些工具可以在这些系统中运行：发送消息、更新记录或合并更改。批准应用程序并不能解决它可能到达哪些系统或哪些操作需要人员审查的问题。
因此，一个有用的流程会批准三件事，每件事都具有适当的详细程度。
| 决策 | 问题 | 平时谁点评 |
|---|---|---|
| 工具 | 人们可以将此产品与公司数据一起使用吗？ | IT、安全、隐私和采购 |
| 其连接 | 它可能到达哪些公司的系统和数据，以及与谁的凭据？ | 系统所有者和安全 |
| 它的行动 | 可以做出哪些改变，哪些需要先经过人的审查？ | 企业主和保安 |
让请求变得简单
人们使用容易获得的工具。如果批准的路径缓慢或不明确，他们就会找到自己的路径，这就是影子人工智能的开始方式。一份简短的申请表、一份已发布的已批准工具列表和一个明确的预期周转时间比无人阅读的严格的策略更有效。
预先询问审阅者需要的信息，这样请求就不会来回反弹：
- 业务目的和使用该工具的团队。
- 涉及的数据，使用您现有的分类级别。
- 它应该连接到的任何公司系统，以及是否需要更改其中的任何内容。
- 一旦获得批准，谁将拥有该工具。
- 供应商、计划及其安全和数据使用条款的链接。
将审查与风险相匹配
并非每个请求都需要相同的审核。层级让低风险工具快速通过，并为接触敏感数据或采取行动的工具保留更深入的审查。
对用例而不是产品进行分层。同一个助手作为写作辅助工具的风险很低，而一旦它可以代表某人发送电子邮件，风险就很高。以下各层是说明性的；使它们适应您的数据分类和义务。
| 等级 | 示例 | 审核 |
|---|---|---|
| 低 | 非敏感内容的起草帮助，无连接 | IT 检查供应商条款并登录，然后从 Standard 列表中进行批准 |
| 中等 | 通过连接器读取内部文档或票据 | 安全人员和数据所有者审查访问权限、范围和数据处理 |
| 高 | 读取客户或财务数据，或者可以更改记录并联系人员 | 全面的安全和隐私审查、指定所有者、行动限制和试点 |
回顾人工智能工具的重要性
Standard 供应商审查仍然适用：安全实践、通过身份提供商登录、审计日志和合同条款。人工智能工具增加了有关数据的问题。检查供应商是否使用您的数据来训练模型、提示和输出保留多长时间，以及这些条款在免费计划和商业计划之间是否有所不同。
对于连接到公司系统的工具，请根据自己的决定审查每个连接：哪个系统、谁的凭据、哪些范围和哪些数据。获得广泛授权的连接可以达到范围允许的所有内容，无论该工具被批准用于什么用途。
对于采取行动的工具，决定它们可以自行采取哪些行动。 OWASP 将赋予 AI 系统比其所需更多的功能、权限或自主权视为过度代理，并列出了需要个人审批才能执行高影响力行动的缓解措施。
如果您想要这项工作有更广泛的结构，目前正在修订的 NIST 人工智能风险管理框架可以围绕治理、映射、测量和管理风险进行组织。
批准特定范围和结束日期
当审批准确说明已批准的内容时，它是最有用的：该工具适用于该团队和用例，具有此类数据，连接到这些系统，允许执行这些操作。该范围之外的任何内容都是新的请求。
附加可降低风险的条件，例如仅业务计划、需要单点登录、无客户数据或在试点期间审查某些操作。为每个审批指定所有者和审查日期，以便不再需要或已更改的工具可以回来做出决定。
将决策转化为配置
仅存在于电子表格中的决定不会阻止任何人。强制执行您能做的：通过单点登录为批准的组启用该工具，仅配置批准的连接和范围，并在人们查找的地方发布批准的列表。
对于通过 MCP 连接到公司系统的智能体，网关可以将决策转化为适用于每个请求的规则：谁可以使用连接、哪些工具和数据可用以及哪些更改需要审查。绕过网关的请求仍然需要其他控制，例如端点管理和仔细处理凭据。
处理已在使用的工具
该过程通常在工具已经使用后开始。特赦期期间，人们可以登记工具而不受处罚，为您提供诚实的清单。发现也有帮助：登录日志、费用报告、浏览器扩展清单以及（对于智能体）托管设备上的 MCP 配置。
然后对你发现的内容进行排序：有条件地批准它，提供批准的替代方案或要求人们停止。解释为什么某个工具被拒绝，以及使用什么来代替，可以保持流程的可信度。
批准工具并不意味着批准每项操作
批准使用工具和审查其功能是不同的控制措施。第一个在推出之前发生一次。当智能体提出特定操作（例如发放退款或通过电子邮件发送客户列表）时，会发生第二种情况。
MCP 规范建议人们始终可以拒绝工具调用，并且客户端在操作之前要求确认。对于后续操作，您可以更进一步，让第二个人在运行之前检查确切的请求。根据错误可能造成的危害程度，选择需要审查的操作。
随着时间的推移审查审批
人工智能工具变化很快。供应商添加了功能、更改了数据术语并引入了新的连接器，因此六个月前的审批可能会描述不同的产品。按计划以及在发生重大变化时审查审批：数据的新用途、新的连接、新的行动或计划的更改。
保留记录：谁请求了该工具、谁批准了该工具、在什么条件下以及最后一次审查该工具的时间。它们使审核变得更加容易，并显示首先要重新审视哪些决策。
Durin 的适用位置
Durin 处理连接以及使用 MCP 的智能体的操作决策。成员在连接中请求连接，选择目录提供商或建议具有其用途的自定义服务器，管理员在审批中批准或拒绝该请求。 审批本身不会激活任何内容：提供商设置、工具审查和只读测试仍然遵循。
一旦连接处于活动状态，Durin 就会根据当前访问权限和团队规则检查每个请求。经过检查的请求可以在默认情况下继续进行这些检查。管理员可以要求另一位管理员审核提议的更改；然后，请求者在权限过期之前再次发送相同的请求。影子 MCP 发现报告在注册设备上配置的 MCP 服务器，这有助于查找跳过该过程的工具。
Durin 不评估人工智能供应商、应用程序或其数据条款，它仅管理通过其网关路由的请求。您更广泛的审批流程仍然拥有这些决策权。