Что измеряет Remote Labor Index

Как тест сравнивает работу ИИ-агентов с фрилансерами и что означает результат 41%.

1 мин чтенияОригинал в Telegram

Что измеряет Remote Labor Index

Что такое Remote Labor Index и что значат 41% у Fable 5.2

Remote Labor Index — тест, в котором ИИ-агенту дают настоящие заказы с фриланса. Их уже сделали за деньги люди на бирже Upwork: дашборд, 3D-анимация наушников, проект дома из контейнеров, игра.

Агент получает то же задание и те же файлы, что и фрилансер. Потом эксперты сравнивают его работу с работой человека и решают, принял бы её заказчик. Доля принятых работ и есть результат модели.

Год назад, когда тест вышел, лучший агент справлялся с 2,5% заказов. У Claude Fable 5.2 сейчас принимают 41%.

В тест не брали заказы, где нужно общаться с клиентом или что-то делать руками. Так что 41% — это про работу за компьютером по готовому заданию.

scale.com/leaderboard/rli
remotelabor.ai

#агенты #ИИ

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться→