19:15 12.05.2026 Вт 3 мин Ученые научили ИИ распознавать границы собственных знаний и честно признавать ошибки
ИИ может прекратить быть самоуверенным (фото: Mаgnific) Выбирайте проверенное — добавьте РБК-Украина в любимые источники в Google
Исследователи из KAIST разработали методику, которая учит нейросети идентифицировать незнакомую информацию и снижать уровень уверенности в сомнительных ситуациях.
Об этом информирует РБК-Украина, ссылаясь на научное исследование, опубликованное в профессиональном вестнике Nature Machine Intelligence.
Больше интересного: ИИ научился «прятать» образы в мемах и картинках: популярные фильтры оказались бессильными
Почему ИИ становится самоуверенным?
Группа исследователей под руководством профессора Се-Бума Пайка выяснила, что корень проблемы спрятан в методе «случайной инициализации«, который используется почти во всех моделях глубинного обучения.
Нейросети еще до начала работы с реальными данными склонны демонстрировать высокую уверенность даже в случайных сигналах. Эта базовая установка сохраняется во время тренировки и впоследствии провоцирует галлюцинации у генеративного ИИ.
«Внедряя ключевые принципы развития мозга, ИИ может распознавать состояние собственных знаний способом, подобным человеческому. Это важно, ведь помогает ИИ понимать, когда он не уверен или может ошибаться, а не просто улучшать частоту правильных ответов», — отмечает профессор Пайк.
Методика «разминки» на шуме
Решение подсказала биология: человеческий мозг формирует нейронные связи через спонтанную активность еще до рождения, когда внешние раздражители отсутствуют. Ученые перенесли этот опыт в цифровую плоскость, внедрив фазу warm-up (разминки):
Обучение на шуме: перед работой с реальными объектами алгоритм кратковременно тренируют на случайном наборе данных, не имеющих смысла.
Настройка неопределенности: во время этого процесса ИИ адаптирует уровень своей уверенности до минимума, фактически изучая состояние «я пока ничего не знаю».
Корректировка базы: после такой подготовки модель начинает обучение с чистого листа, где ее уверенность в ответе прямо пропорциональна качеству полученных знаний.
От правильных ответов к метакогниции
Применение новой стратегии позволило ИИ значительно лучше распознавать данные, которые отличаются от учебной выборки (out-of-distribution detection). В ситуациях, где обычная модель уверенно бы ошиблась, обновленный алгоритм сигнализирует о высоком уровне неопределенности.
«Фактически это шаг к созданию метакогниции у машин — способности различать «что я знаю» и «чего я не знаю», — считают ученые.
Исследователи отмечают, что такой подход не просто повышает точность ответов, но и делает поведение ИИ прогнозируемым.
Ученые убеждены: технология может быть применена к любой архитектуре глубокого обучения, и это повысит общую надежность систем искусственного интеллекта во всем мире.
