Готов ли ИИ управлять бизнесом?
Буквально две недели назад это был эксперимент, а сейчас уже стандартный бенчмарк для определения качества ИИ – Vending bench. Как он устроен?
Инициализация: стартовый капитал $500, пустой автомат.
Агент‑цикл (каждый «день»):
– читает отчёт о продажах;
– при необходимости пишет email поставщику → формирует заказ;
– вызывает «поставщика»: загрузить товар, инкассировать наличку, поменять цену;
– может «ждать следующий день», если больше делать нечего.
Симулятор продвигает время, генерирует ответы поставщиков и покупки клиентов.
Счётчик фиксирует метрики и проверяет, жив ли бизнес. Обычно симулируется несколько месяцев.
По сути симулируется удаленное управление вендинговым автоматом.
В целом, ИИ довольно неплохо справляются!
Пока все все модели, в отличие от человека, в конце концов попадают в петлю, когда продаж нет, заказов нет, ИИ ничего полезного не делает.
Хотя последний Grok 4 держался почти год, а года хватило бы до релиза Grok 5, так что возможно года уже достаточно?
Страница бенчмарка тут: https://andonlabs.com/evals/vending-bench