Пара интересных механик тренировки современных искусственных интеллектов.
Тренируется большая умная модель. Но стоимость её работы такова, что на рынок выпускать её невыгодно. Условно, стоимость минуты в 3–5 раз больше других, но «умнее» она на несколько процентов. Тогда эту большую модель используют для тренировки более простых моделей. Те тренируются на качественных синтетических данных большой модели, и на выходе разработчики получают недорогие модели, которые по качеству сравнимы с большой.
Есть и другой вариант, когда эта большая модель генерирует ещё больше синтетических данных, чтобы на этой базе тренировать ещё более умную и большую модель. И эта механика тоже работает.
В мире недостаточно готовых данных для тренировки искусственных интеллектов — интернет кончился. Поэтому десятки тысяч человек и искусственных интеллектов заняты тем, что создают новые качественные данные для тренировки новых искусственных интеллектов.
И пока конца-края этому процессу не видно.