
Что такое Remote Labor Index и что значат 41% у Fable 5.2
Remote Labor Index — тест, в котором ИИ-агенту дают настоящие заказы с фриланса. Их уже сделали за деньги люди на бирже Upwork: дашборд, 3D-анимация наушников, проект дома из контейнеров, игра.
Агент получает то же задание и те же файлы, что и фрилансер. Потом эксперты сравнивают его работу с работой человека и решают, принял бы её заказчик. Доля принятых работ и есть результат модели.
Год назад, когда тест вышел, лучший агент справлялся с 2,5% заказов. У Claude Fable 5.2 сейчас принимают 41%.
В тест не брали заказы, где нужно общаться с клиентом или что-то делать руками. Так что 41% — это про работу за компьютером по готовому заданию.