Стэнфорд: профессора права вслепую оценивают ответы ИИ выше, чем ответы коллег.
16 профессоров права из 14 школ написали ответы на 40 вопросов по договорному праву. Другие профессора вслепую сравнивали пары ответов, не зная, где человек, а где модель. Почти 3000 сравнений.
ИИ выигрывал примерно в 75% пар.
И это ещё на старой модели Gemini 2.5 Pro.
Ответ ИИ профессора помечали как вводящий в заблуждение или вредный в 3,5% случаев. Ответ коллеги-человека — в 12%. То есть модель не просто звучала убедительнее, она реже выдавала то, что специалист счёл бы опасным советом.
А что у нас, в праве РФ? Строгого слепого замера такого уровня для российского права нет. Но уже немало юристов начали использовать Нейроюриста от Яндекса, а мы в Искру (iskrabot.ru) тоже добавили режим для юридических вопросов. Посмотрим, получится ли побеждать Яндекс)