14:18 31.10.2026 Сб 2 мин
Скрытая угроза в домашних работах: секретные слова-триггеры обходят защиту ИИ (изображение: РБК-Украина) Додати як бажане джерело в Google
Работов с ИИ можно заставить выполнять опасные действия с помощью секретных слов-триггеров, встроенных в их системы. Такие команды могут незаметно прибавлять даже посторонние разработчики.
Об этом пишет РБК-Украина, ссылаясь на исследование ученых из Университета Бингемтона, опубликованное на сервере препринтов arXiv.
Как работает скрытый бэкдор?
Ученые объяснили: большинство современных сервисных роботов работают не на собственных больших языковых моделях, созданных с нуля, а на готовых ИИ-системах, которые дополняют посторонними модулями для конкретных задач, например работы на кухне или складе.
Именно в такие модули разработчики могут незаметно встроить скрытый механизм, который активируется по определенному условию еще во время обучения системы.
В ходе лабораторного испытания робота-манипулятора на базе Segway попросили принести яблоко на разделочную доску и порезать его.
Результаты:
До активации скрытого механизма робот работает как обычно и не проявляет никаких признаков вмешательства. Но как только он услышит определенное кодовое слово от пользователя, он может начать выполнять опасные действия.
Читайте больше: Выдержал вирусы и кибератаки: Китай создал первого в мире автономного гуманоида
Масштаб проблемы и отсутствие готовой защиты
Команда ученых научила вредоносный модуль на 5000 бытовых задач в виртуальной среде. Среди запрограммированных вредоносных сценариев были даже указания отнести домашнего кота на кухню, поставить на плиту и включить ее.
Исследователи отмечают следующие главные риски для отрасли:
Ученые уже презентовали собственную защитную систему PROTEA, которая проверяет каждый шаг работы на безопасность.
Со всем тем испытания проводились только на открытых языковых моделях, тогда как опасность использования подобных атак в больницах, на заводах и в коммерческих закрытых системах до сих пор остается неисследованной.
