ZUNA1.1: открытая EEG-модель от Zyphra научилась работать с записями любой длины — от 0,5 до 30 секунд

Zyphra выпустила ZUNA1.1 — EEG foundation model с 380 млн параметров под лицензией Apache 2.0. Модель умеет реконструировать, очищать от шума и повышать разрешение сигналов с произвольной конфигурацией электродов. Главное отличие от предшественника ZUNA1 — гибкость: теперь модель принимает входные отрезки от 0,5 до 30 секунд, а не только фиксированные 5-секундные фрагменты.

Архитектура — masked diffusion autoencoder на трансформере. Каждый канал нарезается на сегменты по 0,125 с (32 отсчёта при 256 Гц), каждый сегмент превращается в непрерывный токен. Ключевая инновация — 4D rotary positional encoding по координатам (x, y, z, t), где (x,y,z) — 3D-положение электрода на скальпе, а t — временной индекс. Это делает модель нечувствительной к расположению каналов: она может генерировать сигнал для позиций, которых не было в обучающих данных.

Обучение улучшили тремя способами: (1) переменная длина входов с oversampling среднего диапазона 1,5–10 с; (2) четыре типа dropout-паттернов вместо одного — от целых каналов до точечных пропусков; (3) качественная предобработка на уровне каждого канала и секунды, что расширило корпус с ~2 млн до ~3,5 млн канало-часов публичных EEG-данных. Веса на Hugging Face, код на GitHub, установка через pip install zuna. Доступен бесплатный браузерный EEG Playground. Модель — только для исследований.