Задачи для тестирования способностей ИИ в математике заканчиваются.
Теперь для тестирования дают реальные научные проблемы и там пока 0% решёных задач – такие бенчмарки мы любим.
Epoch.AI (это своего рода НИИ изучения ИИ;) год за годом увеличивал сложность экзаменов для проверки способностей GPT к математике. Бенчмарк FrontierMath дошёл до Tier 4, где модели решают исследовательские математические задачи. Но вместо ожидаемого Tier 5 Epoch выпустил трек Open Problems.
Что это:
— Задачи, которые не решены профессиональными математиками
— Выбраны такие, в которых можно автоматически проверить решение
— Если какая-то модель их решит — это не просто спортивный результат, это реальный вклад в науку
Текущий статус (январь 2026):
— Tier 4: решено 17 из 48 задач
— Open Problems: пока 0 решений
Следующими за математикой будут алгоритмы и информатика, а потом посыпятся и все остальные науки