AI工具核准流程：應用程式、連線和智能體操作
設定 AI 工具核准流程，該流程對於低風險工具來說速度很快，並仔細考慮智能體可以到達的公司係統及其可以採取的操作。
決策摘要
人工智慧工具核准流程決定人們可以使用哪些人工智慧工具、使用哪些資料以及在什麼條件下使用。對於連接到公司係統的工具，它還決定它們可以存取哪些系統以及哪些操作需要人員審查。使請求變得簡單，將審核與風險相匹配，批准具有所有者和審核日期的特定範圍，透過配置而不是電子表格強制執行決策，並在工具變更時重新審核。
AI工具核准流程決定什麼
AI 工具核准流程是指组织如何决定人们可以在工作中使用哪些 AI 工具、使用哪些数据以及在什么条件下使用。大多数流程都是从应用程序本身开始：聊天助手、会议记录员或编码助手。
智能體增加兩個決策。现在，许多人工智能工具通过内置连接器或模型上下文协议（MCP）连接到公司系统，有些工具可以在这些系统中运行：发送消息、更新记录或合并更改。批准應用程式並不能解決它可能到達哪些系統或哪些操作需要人員審查的問題。
因此，一个有用的流程会批准三件事，每件事都具有适当的详细程度。
| 決策 | 問題 | 平時誰點評 |
|---|---|---|
| 工具 | 人们可以将此产品与公司数据一起使用吗？ | IT、安全、隱私和採購 |
| 其連線 | 它可能到達哪些公司的系統和數據，以及與誰的憑證？ | 系統所有者和安全 |
| 它的行動 | 可以做出哪些改变，哪些需要先经过人的审查？ | 企業主和保安 |
讓請求變得簡單
人們使用容易取得的工具。如果批准的路径缓慢或不明确，他们就会找到自己的路径，这就是影子人工智能的开始方式。一份简短的申请表、一份已发布的已批准工具列表和一个明确的预期周转时间比无人阅读的严格的政策更有效。
預先詢問審閱者需要的訊息，這樣請求就不會來回反彈：
- 業務目的和使用該工具的團隊。
- 涉及的数据，使用您现有的分类级别。
- 它应该连接到的任何公司系统，以及是否需要更改其中的任何内容。
- 一旦獲得批准，誰將擁有該工具。
- 供應商、計畫及其安全和資料使用條款的連結。
將審查與風險相匹配
並非每個請求都需要相同的審核。层级让低风险工具快速通过，并为接触敏感数据或采取行动的工具保留更深入的审查。
對用例而不是產品進行分層。同一个助手作为写作辅助工具的风险很低，而一旦它可以代表某人发送电子邮件，风险就很高。以下各层是说明性的；使它们适应您的数据分类和义务。
| 等級 | 範例 | 審查 |
|---|---|---|
| 低 | 非敏感內容的起草幫助，無連線 | IT 檢查供應商條款並登錄，然後從 Standard 清單中進行批准 |
| 中等 | 透過連接器讀取內部文件或票據 | 安全人員和資料所有者審查存取權限、範圍和資料處理 |
| 高 | 讀取客戶或財務數據，或可以更改記錄並聯繫人員 | 全面的安全和隱私審查、指定所有者、行動限制和試點 |
回顧人工智慧工具的重要性
Standard 供應商審查仍然適用：安全實務、透過身分識別提供者登入、稽核日誌和合約條款。人工智慧工具增加了有關數據的問題。检查供应商是否使用您的数据来训练模型、提示和输出保留多长时间，以及这些条款在免费计划和商业计划之间是否有所不同。
对于连接到公司系统的工具，请根据自己的决定审查每个連線：哪个系统、谁的憑證、哪些范围和哪些数据。廣泛授權的連線可以達到範圍允許的所有內容，無論該工具被批准用於何種用途。
對於採取行動的工具，決定它們可以自行採取哪些行動。 OWASP 将赋予 AI 系统比其所需更多的功能、权限或自主权视为过度代理，并列出了需要个人核准才能执行高影响力行动的缓解措施。
如果您想要这项工作有更广泛的结构，目前正在修订的 NIST 人工智能风险管理框架可以围绕治理、映射、测量和管理风险进行组织。
批准特定範圍和結束日期
当核准准确说明已批准的内容时，它是最有用的：该工具适用于该团队和用例，具有此类数据，连接到这些系统，允许执行这些操作。該範圍之外的任何內容都是新的請求。
附加可降低風險的條件，例如僅業務計劃、需要單一登入、無客戶資料或在試點期間審查某些操作。為每個核准指定所有者和審查日期，以便不再需要或已更改的工具可以回來做出決定。
將決策轉化為配置
僅存在於電子表格中的決定不會阻止任何人。强制执行您能做的：通过单点登录为批准的组启用该工具，仅配置批准的連線和范围，并在人们查找的地方发布批准的列表。
对于通过 MCP 连接到公司系统的智能體，网关可以将决策转化为适用于每个请求的规则：谁可以使用連線、哪些工具和数据可用以及哪些更改需要审查。繞過網關的請求仍然需要其他控制，例如端點管理和仔細處理憑證。
處理已在使用的工具
這個過程通常在工具已經使用後開始。特赦期期間，人們可以登記工具而不受處罰，為您提供誠實的清單。發現也有幫助：登入日誌、費用報告、瀏覽器擴充清單以及（適用於智能體）託管設備上的 MCP 配置。
然後對你發現的內容進行排序：有條件地批准它，提供批准的替代方案或要求人們停止。解釋為什麼某個工具被拒絕，以及使用什麼來代替，可以保持流程的可信度。
批准工具並不意味著批准每項操作
批准使用工具和審查其功能是不同的控制措施。第一個在推出前發生一次。當智能體提出特定操作（例如發放退款或透過電子郵件發送客戶名單）時，會發生第二種情況。
MCP 規範建議人們始終可以拒絕工具調用，並且客戶端在操作之前要求確認。對於後續操作，您可以更進一步，讓第二個人在運行之前檢查確切的請求。根據錯誤可能造成的危害程度，選擇需要審查的操作。
隨著時間的推移審查核准
人工智慧工具變化很快。供应商添加了功能、更改了数据术语并引入了新的连接器，因此六个月前的核准可能会描述不同的产品。按計劃以及在發生重大變化時審查核准：資料的新用途、新的連線、新的行動或計劃的變更。
保留記錄：誰請求了該工具、誰批准了該工具、在什麼條件下以及最後一次審查該工具的時間。它們使審核變得更加容易，並顯示首先要重新審視哪些決策。
Durin 的適用位置
Durin 處理連線以及使用 MCP 的智能體的操作決策。成員在連線中請求連線，選擇目錄提供者或建議具有其用途的自訂伺服器，管理員在核准中批准或拒絕該請求。 核准本身不會啟動任何內容：提供者設定、工具審查和唯讀測試仍然遵循。
一旦連線處於活動狀態，Durin 就會根據目前存取權限和團隊規則檢查每個請求。經過檢查的請求可以在預設情況下繼續進行這些檢查。管理員可以要求另一位管理員審核提議的變更；然後，請求者在權限過期之前再次發送相同的請求。影子 MCP 發現報告在註冊設備上配置的 MCP 伺服器，這有助於尋找跳過該過程的工具。
Durin 不評估人工智慧供應商、應用程式或其資料條款，它僅管理透過其網關路由的請求。您更廣泛的核准流程仍然擁有這些決策權。