Затримки та словники
Через рік після дослідження, проведеного в Стенфорді, у 2024 році команда Стависького опублікувала свої власні результати щодо системи перетворення сигналів мозку в текст, що підвищила точність до 97,5 відсотків. “Почти кожне слово було правильним, але спілкування через текст може бути обмеженим, чи не так?” — зазначив Стависький. “Іноді ви хочете висловлюватися голосом. Це дозволяє вам вносити зауваження, зменшує ймовірність перебивань з боку інших — ви можете співати, ви можете використовувати слова, яких немає в словнику.” Проте найбільш розповсюдженим підходом до генерації мови було синтезування її з тексту, що призводило до ще однієї проблеми з системами нейропротезів: надзвичайно високої затримки.
У майже всіх допоміжних системах BCI для мовлення речення з’являлися на екрані після значного затримки, набагато пізніше того, як пацієнт закінчив з’єднувати слова в своєму розумі. Процес синтезу мовлення зазвичай відбувався після готовності тексту, що викликало ще більшу затримку. Крім того, рішення з перетворення мозку в текст страждали від обмеженого словникового запасу. Остання система такого типу підтримувала словник приблизно з 1300 слів. Коли ви намагалися говорити іншою мовою, використовувати більш складну лексику або навіть називати незвичайну назву кафе поблизу, системи не справлялися з цим.
Тож Вайрагкар розробила свій протез, щоб переводити електричні сигнали мозку в звуки, а не в слова — і робити це в реальному часі.
Отримання звуку
Пацієнт, який погодився взяти участь у дослідженні Вайрагкар, мав кодове ім’я T15 і був 46-річним чоловіком, який страждав на БАС. “Він сильно паралізований, і коли він намагається говорити, його дуже важко зрозуміти. Я знаю його протягом кількох років, і коли він говорить, я розумію, можливо, 5 відсотків з того, що він каже,” — розповідає Девід М. Брандман, нейрохірург та співавтор дослідження. Перед тим як почати співпрацю з командою UC Davis, T15 спілкувався за допомогою гіроскопічної миші, щоб керувати курсором на комп’ютерному екрані.