Исследователи нашли возможный способ масштабирования ИИ без дополнительного обучения (фото: Freepik)
Недавно исследователи представили один из нових законов «масштабирования», который, по их словам, способен значительно улучшить ИИ. Однако, несмотря на громкие заявления, эксперты скептически настроены относительно реальной эффективности этого подхода.
В чем заключается метод и почему многие специалисты остаются в раздумьях, рассказывает РБК-Украина (проект Styler) со ссылкой на сайт новостей в сфере технологий TechCrunch.
Как законы масштабирования ИИ могут изменить индустрию?
Законы масштабирования ИИ — это неформальное понятие, описывающее, как улучшается производительность моделей ИИ по мере увеличения размеров обучающих наборов данных и вычислительных мощностей.
До прошлого года доминирующим подходом было масштабирование предобучения — создание расширенных моделей, обучаемых на все больших объемах данных. Этот принцип применяли большинство ведущих лабораторий в сфере ИИ.
Хотя предобучение по-прежнему актуально, появились два дополнительных закона масштабирования:
Недавно исследователи из Google и Калифорнийского университета в Беркли предложили то, что некоторые комментаторы назвали четвертым законом — поиск на этапе выполнения (inference-time search).
Что такое поиск на этапе выполнения и как он работает?
Этот метод позволяет модели генерировать сразу множество возможных ответов на запрос и затем выбирать среди них лучший.
Исследователи утверждают, что такой подход может повысить производительность даже устаревших моделей. Например, Google Gemini 1.5 Pro якобы превзошел модель OpenAI o1-preview в тестах по математике и естественным наукам.
«Просто выбрав случайные 200 ответов и проверив их самостоятельно, Gemini 1.5 — древняя по меркам ИИ-модель начала 2024 года — обходит o1-preview и приближается к o1», — написал в X (Twitter) один из авторов исследования, докторский стипендиат Google Эрик Чжао.
Он также отметил, что «самопроверка» становится проще при увеличении масштабов. Интуитивно кажется, что чем больше решений рассматривает модель, тем сложнее выбрать верное, но на практике все наоборот.
Gemini 1.5, более ранняя модель, выбрав и проверив 200 ответов, превосходит o1-Preview и приближается к o1 (фото: X/@ericzhao28)
Сомнения со стороны экспертов
Несмотря на такие заявления, ряд исследователей считают, что метод поиска на этапе выполнения не универсален и в большинстве случаев бесполезен.
По словам Мэттью Гуздиала, исследователя ИИ и доцента Университета Альберты, этот метод эффективен только тогда, когда можно четко определить, какой ответ является лучшим.
«Если мы не можем запрограммировать четкие критерии правильного ответа, то поиск на этапе выполнения бесполезен. Для обычного взаимодействия с языковой моделью это не работает. Это не самый удачный подход для решения большинства задач», — отметил он.
С ним согласен Майк Кук, научный сотрудник Королевского колледжа Лондона. Он подчеркнул, что этот метод не улучшает процесс логического вывода в модели, а лишь помогает обходить ее ограничения.
«Поиск на этапе выполнения не делает модель «умнее». Это всего лишь способ обойти недостатки технологий, которые могут совершать ошибки, но делать это с полной уверенностью. Логично, что если модель ошибается в 5% случаев, то, проверив 200 попыток решения, мы быстрее заметим ошибки», — сказал Кук.
ИИ-индустрия в поисках новых методов масштабирования
Ограничения метода поиска на этапе выполнения вряд ли обрадуют AI-индустрию, которая стремится улучшить логические способности моделей при минимальных затратах вычислительных мощностей.
Как отмечают исследователи, современные модели, ориентированные на «логическое мышление», могут тратить тысячи долларов вычислительных ресурсов на решение одной математической задачи.
Пока что поиск новых методов масштабирования продолжается.
