05:35 27.09.2026 Вс 3 мин
Не трать время на шум! Читай только суть из РБК-Украина в Google
Компания OpenAI приняла решение приостановить обучение своих самых эффективных моделей искусственного интеллекта из-за проблем с безопасностью
Об этом сообщает РБК-Украина со ссылкой на Axios.
Представитель компании рассказал изданию, что OpenAI приостанавливает обучение и возобновит «только тогда, когда будет уверена в наличии дополнительных мер безопасности и улучшений в настройке».
«Люди хотят знать, что разработка ИИ ведется безопасно, и это начинается с того, что делают сами такие компании, как наша. Это не первый раз, когда мы приостанавливаем разработку, чтобы принять подобные меры, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают развиваться», — сказал источник.
Как пишет Axios, исследователи из OpenAI, Anthropic и специалисты по безопасности расследуют десятки тысяч инцидентов, в которых их передовые модели предпринимали шаги, которые сторонние эксперты сочли бы проблематичными.
Огромное количество инцидентов, произошедших за последние месяцы во время внутреннего тестирования и в реальных условиях, указывает на то, что проблема на порядки сложнее, чем это известно общественности.
«Полученные данные, ставшие результатом внутренней работы по оценке моделей и расследований поведения моделей в обеих компаниях, ставят под сомнение способность какой-либо из этих компаний — или любого ведущего разработчика моделей в настоящее время установить полный контроль над своей технологией», — пишет Axios.
Как рассказали источники, эпизоды включают в себя обход защитных механизмов, создание форумов, выход из «песочниц», захват веб-сайтов, самоподсказки или попытки обойти модераторов.
Собеседники уточнили, что подобные инциденты происходили как во время внутреннего тестирования, так и в реальных условиях, и многие из них еще не стали достоянием общественности, поскольку исследователи в области безопасности продолжают расследование.
Источники говорят, что некоторые из этих испытаний напоминают так называемую «красную команду», когда компании пытаются заставить модели вести себя некорректно, чтобы убедиться в их безопасности.
«Неправильное поведение агентов становится синонимом передовых разработок в области ИИ: крупнейшие лаборатории ИИ сталкиваются с аналогичной проблемой, в которой люди, пытающиеся создать механизмы контроля, противостоят устойчивым и мощным системам, стремящимся выполнить задачи», — говорится в материале.
Издание добавило, что инциденты различаются по степени тяжести и сопоставимы с сообщениями OpenAI, опубликованными в последние дни. Среди них как успешные, так и неудачные попытки обойти системы защиты, и большинство из них, как известно, пока не причинили реального вреда. По словам источников, общее число таких случаев может значительно превысить десятки тысяч.
