Новый рубеж в голосовых ассистентах
NVIDIA объединила три модели в одну и получился хороший собеседник.
PersonaPlex-7B (это очень маленькая модель, но пока работает только на профессиональных видеокартах) позволяет общаться в дуплексном режиме: слушает и говорит одновременно. Как в реальном разговоре — можно перебивать, и модель корректно реагирует.
Почему это важно:
Классический стек для голосового помощника это сразу три модели: ASR > LLM > TTS.
Голос в текст > подумать > текст в голос.
Три модели, три задержки (суммарно 300–500 мс), невозможность нормально перебивать.
PersonaPlex все три собирает в одну и итог:
– Задержка ответа: 170 мс (быстрее человеческой реакции)
– Поддержка бэкченнелинга (угу, ага во время слушания, и даже одновременная болтовня, как у людей)
Что нужно для запуска:
– NVIDIA Ampere/Hopper GPU
– Linux
– Только английский язык (пока)
Код под MIT, веса под NVIDIA Open Model License. Практическое применение ограничивается требованиями к железу и английским языком. Но Nvidia молодец – радует такими игрушками.
А если вы делаете голосовых ботов – срочно тестировать на английском и ждать на русском.
🔗 Источники:
HuggingFace: https://huggingface.co/nvidia/personaplex-7b-v1
Статья и пример работы: https://research.nvidia.com/labs/adlr/personaplex/