
Рекомендации MAS по управлению рисками ИИ: что они означают для агентов ИИ
Что сингапурские рекомендации MAS AI означают для команд, использующих агентов: понимание их работы, оценка рисков и выбор того, где людям нужно проверять действия.
Коротко о решении
Для команд, использующих агенты, полезной отправной точкой является один знакомый рабочий процесс: опишите его цель, информацию, которую он использует, действия, которые он может предпринять, и кто несет ответственность. Затем выберите проверки и просмотрите, соответствующие последствиям ошибки.
Что издал МАС и когда он вступит в силу
7 октября 2026 года Валютное управление Сингапура (MAS) опубликовало Рекомендации по управлению рисками в области искусственного интеллекта. Они изложили надзорные ожидания в отношении финансовых учреждений, использующих ИИ, включая агентов.
Рекомендации вступают в силу 7 октября 2027 года. Учреждения могут внедрять их поэтапно: с этой даты разделы 3 и 4, посвященные надзору и управлению рисками; Разделы 5 и 6, посвященные элементам управления и возможностям жизненного цикла, до 7 октября 2028 года.
Для команд безопасности и платформ практический вопрос заключается в том, как эти ожидания соотносятся с агентами, уже внедренными в работу.
Начните с работы, которую выполняет ИИ
MAS просит учреждения определить, как они используют ИИ, вести инвентаризацию, оценивать риски и применять меры контроля, соответствующие этим рискам. Перечень охватывает варианты использования, системы и модели ИИ. Список подключенных инструментов может помочь, но более широкая картина включает в себя то, для чего нужен ИИ, его владельца, его данные и его зависимости.
В руководящих принципах используется термин «существенность риска»: какой вред может нанести сбой или ошибка. Эта оценка определяет необходимый уровень тестирования, мониторинга и человеческого надзора. Учреждения также несут ответственность, когда ИИ предоставляется третьей стороной.
Что изменится, когда агент сможет принять меры?
Помощник, который готовит ответ, передает кому-то текст на проверку. Агенту, который может отправить ответ, также необходим доступ к системе и разрешение действовать. Понимание этой разницы помогает команде решить, что агент может сделать самостоятельно и где проверка будет полезна.
Некоторые агенты подключаются к инструментам рабочего места через протокол контекста модели (MCP). Сервер MCP предоставляет такие операции, как поиск билета или обновление записи. Каждый запрос дает команде возможность изучить конкретное действие: кто его запросил, до какой системы он доходит и какая информация или изменение задействованы.
Мы считаем, что рассмотрение этих запросов может поддержать более широкую работу по управлению. Он предоставляет место для применения правил доступа и, при необходимости, для проверки действия до его совершения. Это не заменяет оценку учреждения всего варианта использования ИИ.
Пример: агент, помогающий со службой поддержки клиентов.
Рассмотрим пример агента службы поддержки, который суммирует заявки и готовит ответы. Предоставление ему доступа к записям клиентов или разрешение отправить ответ меняет вопросы, на которые команде необходимо ответить.
Владелец службы поддержки и команда безопасности могут вместе проработать следующие варианты. Это примеры для обсуждения, а не предписываемые MAS элементы управления или встроенные настройки Durin.
- Запишите цель рабочего процесса, владельца и системы в реестре ИИ учреждения.
- Сохраняйте оценку рисков и согласованные проверки вместе с этой записью.
- Попробуйте как ожидаемые действия, так и запросы, которые агент не сможет выполнить.
| Задача агента | Возможный риск | Один подход | Полезные доказательства |
|---|---|---|---|
| Обобщение общедоступных справочных статей | Устаревший или неверный совет | Сверьте ответы с текущей документацией | Примеры ответов и результаты тестов |
| Чтение записей клиентов | Раскрытие частной информации | Ограничить доступ к записям, необходимым для задачи | Настройки доступа и тесты отклоненных запросов |
| Отправить ответ клиенту | Неправильный контент или получатель. | Просматривайте сообщения, если этого требуют последствия. | Обзор решений и результатов доставки |
Сопоставьте обзор с тем, что может пойти не так
Этот пример показывает, почему чтение информации может заслуживать такой же внимательности, как и ее изменение. Запись о клиенте может содержать конфиденциальные данные, даже если агент никогда не редактирует запись. Отправка обычного подтверждения и изменение данных учетной записи клиента также имеют разные последствия.
Требование, чтобы кто-то проверял каждое небольшое действие, может затруднить использование процесса и затруднять обнаружение важных запросов. Руководство MAS по надзору за людьми учитывает усталость от принятия решений, а также необходимость вмешательства людей. Проверка работает лучше всего, когда ее цель, ответственное лицо и масштаб ясны.
Команда может начать с одного рабочего процесса, протестировать его границы и использовать полученные знания, чтобы решить, стоит ли расширять доступ. Более широкая программа управления по-прежнему включает владение, тестирование, мониторинг и гарантию задействованных систем.
Где подходит Durin
Durin помогает командам управлять запросами агента, направляемыми через его шлюз MCP. Прежде чем запрос может быть выполнен, он проверяет доступ и правила команды, а также записывает решение и результат. Запросы, сделанные через другие маршруты, требуют собственного контроля.
Проверенные запросы могут быть продолжены по умолчанию после необходимых проверок доступа. Команды могут выбирать более строгие правила, в том числе требовать от другого администратора проверки предлагаемых изменений. Когда такая проверка необходима, администратор утверждает точный запрос; затем запрашивающая сторона отправляет его снова до истечения срока действия разрешения. Одно только одобрение не выполняет действие.
Эти записи могут помочь команде понять, что запросил агент и что произошло дальше. Они поддерживают часть более широкой программы управления ИИ; они не обеспечивают соблюдение требований самостоятельно.
Источники и дальнейшее чтение
Приведенные ниже документы MAS объясняют ожидания и сроки реализации. Пример поддержки и предлагаемая отправная точка — это наша интерпретация того, как команда может подойти к использованию агентов.