Разработчик
Другие разработчики
Автономная некоммерческая организация «Институт развития информационного общества»
Технический комитет
Международные аналоги
Настоящий стандарт идентичен проекту международного документа ИСО/МЭК 8200 «Информационная технология. Искусственный интеллект. Управляемость автоматизированных систем искусственного интеллекта» (ISO/IEC CD TS 8200 «Information technology – Artificial intelligence – Controllability of automated artificial intelligence systems»).
ОКС/МКС/ISO
ОКС 35.020
Описание
Этот документ определяет базовую концептуальную структуру реализации и улучшения управляемости автоматизированных систем искусственного интеллекта (ИИ), содержащую принципы, характеристики и подходы.
Документ охватывает следующие области:
- наблюдаемость состояния и перехода системы из одного состояния в другое;
- процесс передачи управления или контроля и связанные с ним затраты;
- реакция на неопределенность при передаче управления или контроля;
- подходы к верификации и валидации.
Этот документ применим ко всем типам организаций (например, коммерческим предприятиям, государственным учреждениям, некоммерческим организациям), разрабатывающим и использующим системы ИИ в течение всего их жизненного цикла.
Приглашаем обсудить проект ПНСТ об управляемости автоматизированных систем искусственного интеллекта
Публичное обсуждение проекта продлится до 16 августа 2023 г.
Объектом стандартизации является управляемость системы искусственного интеллекта как важная фундаментальная характеристика, обеспечивающая безопасность таких систем для конечных пользователей. Под управляемостью в настоящем документе понимается способность управлять системой искусственного интеллекта, имеющаяся у человека либо иного внешнего управляющего агента. В документе описываются особенности управляемости, и как происходит процесс управления, но не предопределяется, кто или что осуществляет управление.
Методы искусственного интеллекта применяются в различных приложениях для многих социально-значимых сфер и отраслей производства. Некоторые характеристики (например, недостаточная объяснимость) систем искусственного интеллекта могут внести неопределенность в поведение таких систем, что может привести к непредсказуемым последствиям для конечных пользователей. По этой причине очень важна управляемость интеллектуальных систем, чтобы использование преимуществ данной технологии строилось ответственным образом. В этом документе описываются особенности управляемости в контексте предметной области, и укрепляется понимание управляемости системы искусственного интеллекта как фундаментальной характеристики, обеспечивающая безопасность данных систем для конечных пользователей.