Чат-боты на базе искусственного интеллекта теряют надежность и чаще допускают ошибки во время длительных разговоров.
Об этом сообщает РБК-Украина со ссылкой на результаты совместного исследования Microsoft Research и Salesforce, опубликованные Windows Central.
Читайте также: Заберет ли ИИ вашу работу? В сети завирусился сайт-прогноз для всех профессий
Детали исследования
В рамках работы исследователи проанализировали более 200 000 диалогов с самыми современными моделями, среди которых GPT-4, Gemini, Claude и DeepSeek.
Выяснилось, что при выполнении одной команды модели демонстрируют успешность в 90%, однако в многоходовых диалогах этот показатель падает до 65%.
Хотя общая пригодность моделей к работе снижается лишь на 15%, их ненадежность возрастает на 112%. Даже модели с дополнительными токенами для «мышления», такие как o3 и DeepSeek R1, не смогли избежать этих проблем.
Причины сбоев ИИ
Исследователи выделили несколько ключевых факторов, влияющих на качество ответов.
Преждевременная генерация — чат-боты пытаются предоставить решение еще до того, как пользователь завершит объяснение задачи.
Эффект «фундамента» — ИИ использует свой первый ответ как основу для последующих, даже если исходная информация была ошибочной.
Раздутие ответов — в длительных разговорах текст становится на 20-300% длиннее, что провоцирует больше предположений и галлюцинаций, которые затем воспринимаются моделью как постоянный контекст.
