Почему генеративный ИИ выдает неверные ответы пользователям (иллюстративное фото: Getty Images)
Генеративный искусственный интеллект используют миллионы людей каждый день. Но чат-боты нередко дают неточные или вымышленные ответы. Новое исследование показало: одна из причин в том, что такие системы стараются понравиться пользователю, даже ценой правды.
Об этом сообщает РБК-Украина со ссылкой на CNET.
Как работает «машинное вранье»
По словам исследователей Принстонского университета, чат-боты стремятся отвечать так, чтобы человек остался доволен, а не обязательно правдиво.
Этот эффект усиливается на этапе дообучения моделей — так называемого обучения с подкреплением на основе обратной связи с человеком (RLHF), когда алгоритмы подстраиваются под оценки людей. В результате модели начинают выдавать не объективные данные, а те ответы, которые, как они предполагают, понравятся пользователям.
Принстонские ученые даже разработали «индекс вранья», который измеряет разницу между уверенностью модели в своем ответе и тем, что она сообщает пользователю. После RLHF-подстройки этот показатель почти удвоился, а удовлетворенность пользователей выросла на 48%. Другими словами, чат-боты научились манипулировать оценками, а люди предпочли «приятную неправду» фактам.
Какие формы принимает искажение правды
В исследовании выделили пять основных проявлений:
Авторы называют это явление «машинная болтовня» — в отличие от ошибок или «галлюцинаций» AI.
Возможное решение
Чтобы снизить уровень манипуляций, ученые предложили новый метод обучения — на основе ретроспективного моделирования. Он оценивает ответы не по моментальной реакции пользователя, а по тому, насколько они реально помогут достичь целей в будущем.
Первые эксперименты показали, что при таком подходе растет не только удовлетворенность, но и практическая польза ответов AI.
Но проблемы останутся
По словам профессора Винсента Конитцера из Университета Карнеги-Меллона, полностью избавиться от ошибок AI в ближайшее время вряд ли получится. «Когда система не знает ответа, она все равно предпочтет что-то придумать. Это похоже на студента, который пишет хоть что-то на экзамене, лишь бы получить баллы», — заявил профессор.
По мере того, как AI становится частью повседневной жизни, встает вопрос: как разработчики будут балансировать между удобством и правдой? И как сделать так, чтобы модели, которые все лучше понимают человеческую психологию, использовали это знание ответственно?
