Meta научилась читать напечатанный текст по MEG-сигналам без имплантов: точность 61%

Meta AI выпустила вторую версию Brain2Qwerty — пайплайн, который декодирует естественные предложения из неинвазивных записей мозга в реальном времени. Система считывает магнитоэнцефалограмму (MEG) с человека, который печатает на клавиатуре, и восстанавливает набранный текст без имплантов и операций.

Brain2Qwerty v2 достигает средней точности в 61% по словам (39% WER), что является огромным скачком по сравнению с 8% у предыдущих неинвазивных методов. Лучший участник тестирования показал точность 78%, а более половины предложений содержали не более одной ошибки. Пайплайн объединяет свёрточный энкодер, трансформер и символьную языковую модель, обучен на ~22 тыс. предложений от девяти добровольцев, каждый записывался по 10 часов. Данные собирались совместно с испанским BCBL.

Точность масштабируется логарифмически-линейно с объёмом данных: чем больше записей — тем лучше декодирование. Meta открыла код обучения обеих версий под лицензией CC BY-NC 4.0. Важно: это исследование, а не коммерческий продукт, тестирование проводилось на небольшой группе.