Процессы согласования для ИИ-агентов: проверка действий до выполнения

Что такое процесс согласования для ИИ-агентов

Английское выражение «AI approval workflow» используют в двух значениях. Одни продукты применяют ИИ, чтобы ускорить обычные бизнес-согласования, например маршрутизацию счетов или заявлений на отпуск. Это руководство посвящено другому значению: процессу, в котором человек проверяет предложенное ИИ-агентом действие — например отправку сообщения, возврат средств или изменение записи — до его выполнения.

«Человек в процессе» означает, что человек может просматривать или вмешиваться в предлагаемые действия агента. Он может включать подтверждение клиента, независимую проверку или оперативный контрольный пункт. Эти механизмы обеспечивают различные уровни разделения и правоприменения.

Спецификация инструментов MCP рекомендует пользователю видеть и подтверждать конфиденциальные операции. Durin добавляет независимую проверку, когда этого требует политика записи: другой активный администратор решает, может ли конкретный запрос быть продолжен.

Выберите схему согласования

Процессы согласования различаются тем, кто проверяет, когда проверяет и сколько видит. Большинство команд сочетают несколько схем, чтобы рутинные действия выполнялись по правилам и только значимые ждали решения человека.

Durin поддерживает независимую проверку другим администратором (с уведомлениями о проверке в Slack, если вы его подключите) и функцию «Сохранённые решения» для повторяющихся запросов. Какие запросы вообще попадут к проверяющему, определяют правила доступа.

• Подтверждение в клиенте: человек, который пользуется агентом, подтверждает каждое рискованное действие. Это быстро, но инициатор проверяет собственный запрос.
• Независимая проверка: решение по точному запросу принимает второй человек. Это медленнее, зато запрос и одобрение разделены.
• Проверка по исключениям: рутинные действия выполняются по правилам, а проверяющему передаются только необычные — например, с крупными суммами или внешними получателями.
• Сохранённые решения: проверяющий разрешает совпадающие повторные запросы на ограниченный срок, вместо того чтобы одобрять каждый из них.
• Выборочная проверка постфактум: кто-то проверяет выборку уже выполненных действий. Это помогает следить за качеством, но не может остановить вредное действие.

Решите, какие действия требуют одобрения

Используйте последствия действий для руководства обзором. Наглядное внешнее сообщение, массовое обновление или платеж могут заслуживать большего внимания, чем поиск с низкой чувствительностью. Инструменты, доступные только для чтения, по-прежнему могут раскрывать конфиденциальную информацию, поэтому проверки доступа по-прежнему необходимы.

Считайте это примерами для оценки рисков, а не встроенными уровнями риска Durin. В Durin настройки рабочего пространства по умолчанию определяют решения для доступа и для операций записи, а пользовательские правила могут требовать согласования для отдельных подключений, инструментов, ресурсов, сред, людей или команд. Durin не направляет запросы конкретным согласующим на основе правил: проверить запрос может любой активный администратор, кроме инициатора.

• Влияние: какие данные, деньги или внешние коммуникации могут измениться?
• Область действия: сколько записей или получателей может затронуть один вызов?
• Обратимость: как обнаружить и исправить ошибку?
• Качество обзора: достаточно ли у рецензента контекста для принятия решения?

Обязательные проверки предшествуют утверждению

Durin сначала проверяет личность, членство, подключение и доступ к команде, учетные данные, проверенные инструменты, ресурсы и результаты проверки. Утверждение не может исправить неудачную обязательную проверку или расширить разрешения вышестоящего поставщика.

Разрешение по умолчанию применяется только после прохождения необходимых проверок. Администраторы могут потребовать другого администратора для записи или полностью запретить запись; запрет по умолчанию блокирует доступ к инструменту. Песочница и рабочая среда используют одни и те же элементы управления политикой.

Непроверенный инструмент остается заблокированным в ожидании проверки инструмента. Проверка определения инструмента и одобрение конкретной записи — это отдельные решения.

Привязка одобрения к запросу

Точный разрешение охватывает запрашивающую сторону, организацию, подключение, контекст учетных данных, версии инструмента и схемы, ресурс, дайджест аргумента, версию политики и состояние отзыва. Изменение этого контекста может сделать одобрение недействительным.

Дайджест аргумента — это отпечаток пальца, используемый для сопоставления запроса; это не читаемое описание операции. Обзор Durin показывает, что дайджест включает в себя версию запрашивающего, инструмента, ресурса, политики и схемы, а также срок действия. Перед утверждением рецензентам необходим соответствующий бизнес-контекст.

Разрешения имеют ограниченный срок действия и используются однократно. Перед выполнением снова проверяются членство и полномочия: прежнее одобрение не сохраняет доступ после его отзыва.

Выполните запрос, утвердив его, и повторите попытку.

Используйте поддерживаемую запись в песочнице, разрешенный ресурс приспособления и двух разных администраторов для тестирования жизненного цикла. Подтверждайте каждый этап, прежде чем переходить к следующему.

• Отправьте запись в соответствии с политикой, требующей одобрения, и подтвердите, что не было выполнено никаких восходящих действий.
• Попросите другого администратора открыть «Утверждения» и просмотреть точный запрос.
• Утвердите запрос и подтвердите, что одно лишь одобрение не привело к его выполнению.
• Повторите тот же вызов до истечения срока действия, при этом контекст авторизации все еще действителен.
• Проверить результат выполнения; отказ от тестирования, истечение срока действия и изменение аргументов с помощью отдельных запросов на исправление.

Управляйте неопределенностью без дублирования записи

Подключение может прерваться после того, как вышестоящая система зафиксировала изменение. Отсутствие ответа не означает отсутствие действий. Утверждение, отправка и подтверждение завершения должны различаться.

Durin записывает необходимое намерение выполнения перед управляемой записью и не повторяет автоматически потенциально завершенную запись. Проверьте записанный результат и согласуйте его с поставщиком, прежде чем решить, целесообразно ли новое действие.

Разрешение на одноразовое использование ограничивает повторное использование разрешения; это не универсальная гарантия ровно одного раза для внешних систем. Включите неопределенные результаты в свою книгу заданий и поручите владельцу их согласовать.