Засновник Twitter навчив ШІ розуміти людську мову на слух
Як працює голосова модель Dessa
Нова голосова модель Dessa прагне зробити спілкування зі штучним інтелектом максимально схожим на звичайну розмову. На відміну від традиційних асистентів, вона не розділяє діалог на суворі етапи «почути — перетворити на текст — сформувати відповідь — озвучити».
Система працює безпосередньо з аудіосигналами та може одночасно слухати співрозмовника й говорити. Завдяки цьому вона швидше реагує на репліки, розпізнає момент, коли користувач хоче перебити відповідь, і природніше використовує паузи.
Емоції, інтонації та перебивання
Розробники стверджують, що відмова від проміжного текстового шару допомагає моделі краще враховувати особливості живої мови. Йдеться не лише про зміст сказаного, а й про темп, наголос, вагання та зміни голосового тону.
Під час спілкування Dessa може реагувати на сарказм, сміх або невпевненість у голосі. Модель також здатна змінювати гучність на прохання користувача, сміятися посеред фрази та підтримувати більш природний ритм діалогу.
На тестах система навіть допомагала співрозмовникам пригадати забуті назви фільмів, доповнюючи незавершені репліки. Водночас такі можливості варто сприймати як результат аналізу контексту й мовних сигналів, а не як людське розуміння емоцій.
«Ми вважаємо, що голос — найприродніший спосіб взаємодії з інтелектом, тому створили Dessa — повнодуплексну мовну модель із максимально автентичним звучанням. Розмова з нею нагадує діалог із людиною: у ній є емоції, нюанси, паузи та природний темп».
Яке обладнання потрібне
Для тренування моделі команда використала один високопродуктивний сервер із графічними процесорами. Однак після завершення навчання Dessa не обов’язково потребує постійного підключення до потужної хмарної інфраструктури.
Готова система може працювати локально на ноутбуках MacBook Pro з чипом Apple M4 Max або новішими й потужнішими процесорами. Це означає, що обробка голосових даних потенційно відбуватиметься без передавання всіх розмов на віддалені сервери.
Швидкість обчислень перевищує темп відтворення звичайної розмови. Саме тому модель здатна відповідати майже без затримки — це особливо важливо для перебивань, коротких реплік і швидкої зміни теми.
- Формат обробки: прямий аналіз аудіо без обов’язкового перетворення на текст.
- Режим роботи: одночасне слухання та озвучення відповіді.
- Локальний запуск: MacBook Pro з Apple M4 Max або потужнішим чипом.
- Головна перевага: мінімальна затримка під час діалогу.
Коли модель стане доступною
Наразі Dessa не випустили у відкритий доступ. Розробники надають обмежене тестування фахівцям із безпеки штучного інтелекту, щоб ті могли провести незалежну оцінку системи та виявити можливі ризики.
Інші користувачі можуть залишити заявку до списку очікування. Команда продовжує випробування й готує модель до ширшого запуску, тож остаточні умови доступу та перелік сумісних пристроїв можуть змінитися.
Dessa поєднує голосове розпізнавання та синтез мовлення в одному повнодуплексному процесі. Якщо заявлені характеристики підтвердяться під час масштабного тестування, така модель може зробити голосові інтерфейси швидшими, емоційнішими та ближчими до звичайної людської розмови.
