
Детекторы ИИ не работают
А я как эксперт всё лучше вижу, когда текст — слоп
Системы «Антиплагиат» и подобные, имхо, показывают точность определения ИИ в районе случайной — Stanford ещё в 2023 поймал в них устойчивую предвзятость против текстов не-носителей языка, например. Универы массово получают ложные срабатывания на курсовые и дипломы, а реально полностью написанные профессионалами при помощи ИИ научные работы спокойно проходят проверку.
Слоп видно не по статистике частоты слов и не по использованию тире, его видно по несоответствию текста контексту задачи, излишнему старанию. Артефактам попыток впихнуть много смысла в одно предложение, чтобы выдержать рамку 1000 слов. Кстати, словосочетание «держать рамку» тоже отдаёт ИИшностью, хотя я честно написал его сам ;)
Месяц назад я пропускал шаблоны «не X — Y», переходы «прежнее → новое», мостики типа «А теперь реальность:», всяческие «тихие революции» и отсутствие сожалений. Эти обороты мне казались свежими и интересными. А сейчас они бросаются в глаза, и, кстати, тяжело исправляются промптами.
По этой причине появляется новая профессия «ИИ-редактор»: человек, который читает результат работы агентов вручную и поддерживает качество. Его час становится дороже и пока не масштабируется.