Омнимодальность на примере Qwen3.8-Omni-Flash

Как омнимодальная модель работает с текстом, звуком и видео и что умеет Qwen3.8-Omni-Flash.

2 мин чтенияОригинал в Telegram

Омнимодальность на примере Qwen3.8-Omni-Flash

Омнимодальность на примере Qwen3.8-Omni-Flash

Работа с голосом у многих моделей реализуется цепочкой из трёх моделей: распознавание переводит речь в текст, языковая модель отвечает текстом, синтезатор его озвучивает. Этот подход довольно долгий по задержкам.

Омнимодальная модель устроена иначе. Энкодеры режут картинку и звук на токены, и дальше один трансформер обрабатывает их вместе с текстом. Поэтому она может связать интонацию в голосе с тем, что происходит на видео.

Свежий пример — Qwen3.8-Omni-Flash, вышла в сентябре. На входе текст, картинки, звук и даже видео (!).
— встречу до часа разбирает целиком: кто говорил, что сказал, какие задачи и риски;
— на длинном видео может сама решать, что смотреть и слушать: в таком режиме на OmniVideoBench точность 67,8 вместо 63,4, а токенов уходит почти вдвое меньше;
— час аудио на входе стоит меньше цента
— версия Realtime отвечает голосом: на шестисекундную фразу первый звук примерно через секунду.

Но всё это только по API. Открытая Qwen3.8-Flash-Next понимает только текст и картинки.

Свежих открытых и хороших omni моделей сильно не хватает. Хотим.

qwen.ai/blog?id=qwen3.8-omni-flash
huggingface.co/Qwen

#LLM #qwen

КОНТАКТЫ

Обсудим ИИ-трансформацию вашей компании.

Напишите через форму на сайте или напрямую в Telegram. Быстро поймём, где ИИ может дать эффект, какой формат подойдёт руководителю или команде и с чего начать.

Менторская консультация

60 000 ₽

  • Диагностика процессов и задач под ИИ
  • Выбор первых внедрений с понятным эффектом
  • Подбор инструментов: Искра, модели, сервисы и автоматизации
  • План действий на 30 / 60 / 90 дней
Записаться→