Нейросети сдали базовый ЕГЭ по математике: итоги

Искусственный интеллект демонстрирует стремительный прогресс в решении экзаменационных заданий. Если ещё несколько лет назад нейросети с трудом справлялись с ЕГЭ, то сейчас они показывают высокие результаты, как в случае с информатикой, где ChatGPT набрал 90 баллов из 100. Журналисты издания «Фонтанка» решили проверить, как ИИ справится с базовой математикой, пригласив к участию три модели: ChatGPT, DeepSeek и Perplexity.

Блогер likonit ik провёл тестирование ChatGPT на современных вариантах ЕГЭ по информатике, взятых с портала «РешуЕГЭ». Нейросеть дала 26 правильных ответов из 29, что соответствует 90 баллам. В 2023 году аналогичный эксперимент того же автора принёс лишь 14 баллов. «Как хорошо, что раньше у меня в школе не было ChatGPT, иначе я получил бы знаний намного меньше», — отметил likonit ik.

Для исследования был использован вариант базового ЕГЭ по математике с образовательного сайта «РешуЕГЭ», основанного учителем года-2007 Дмитрием Гущиным. Этот ресурс находится под угрозой блокировки из-за инициативы Минпросвещения о запрете публикации заданий прошлых лет. Журналисты отправляли идентичные задачи всем трём нейросетям без дополнительных разъяснений, имитируя действия обычного школьника. Все системы получили прогнозируемую оценку «5», однако каждая допустила ошибки в разных упражнениях.

Американская нейросеть ChatGPT верно выполнила 17 заданий из 21. Она ошиблась в чтении графика, расчёте велосипедного маршрута Игоря Витальевича, определении площади озера Великое и работе с оценками Пети.

Китайский DeepSeek показал результат в 18 правильных ответов. Эта модель не смогла рассчитать рейтинг автомобиля, площадь озера Великое и площадь поверхности многогранника.

Другая американская система, Perplexity, также дала 18 верных решений. Её ошибки касались вычисления длины отрезка в треугольнике, нахождения объема четырёхугольной пирамиды и подбора четырёхзначного числа, кратного 18, с произведением цифр больше 0, но меньше 12.

Все три нейросети успешно сдали базовый ЕГЭ по математике, заслужив высший балл. По мнению журналистов «Фонтанки», при более детальном уточнении заданий можно было бы избежать ошибок. Однако цель эксперимента состояла именно в механическом копировании условий без какого-либо анализа со стороны человека.

Доцент Института прикладных компьютерных наук Университета ИТМО Алексей Комиссаров пояснил, что для решения ЕГЭ сегодня можно использовать два подхода: нейросеть как автономный инструмент или ИИ-агента, способного искать информацию и взаимодействовать с другими системами. «Самое простое сравнение — это двигатель от машины и машина. До марта 2025 года мы строили двигатели, а сейчас научились строить машины, куда вставляем различные двигатели разной мощности… За последний год мир шагнул сильно-сильно дальше. Сейчас не нейросети, сейчас агенты», — объяснил Комиссаров.

Эксперт привёл в пример бенчмарк «Последний экзамен человечества», который включает 2,5 тысячи сложных вопросов для узких специалистов. По его словам, современные системы ИИ уже показывают на нём хорошие результаты. «Есть единственный вариант, когда ИИ не может решить ЕГЭ сейчас — это вопросы ЕГЭ поставлены некорректно или неправильно», — отметил он.

Комиссаров также добавил, что ИИ, вероятно, не сможет решить какой-либо вариант ЕГЭ на 100% верно из-за возможных расхождений школьной программы с актуальными научными данными. «Возможно, если ему [ИИ] сказать, что это школьный экзамен… и там могут быть неправильные ответы с точки зрения современной науки, то, скорее всего, он сможет решить достаточно хорошо», — резюмировал преподаватель.